Baiduオリジナル記事と転載検出アルゴリズム

インターネットの急速な発展に伴い、ネットワーク上には重複したリソース ファイルが大量に存在します。たとえば、ほとんどのユーザーは、共有したいリソース ファイルをインターネットにアップロードします。人気のあるリソース ファイルや非常に人気のあるリソース ファイルは、多くのユーザーによってインターネットにアップロードされるため、必然的に同じリソース ファイルが繰り返しアップロードされることになります。同時に、さまざまな Web サイトが同じリソース ファイルを再印刷、引用、ダウンロードを提供するため、ネットワーク上の重複するリソース ファイルの数がさらに増加し​​ます。

その後、検索エンジンが「スパイダー」、「クローラー」、「ロボット」などの Web クロール ツールを使用してネットワークから Web ページをクロールすると、クロールされた Web ページは区別されず、これらの Web ページに同じリソース ファイルを指す Web ページが含まれる可能性があります。同じリソース ファイルを指すこれらの Web ページが重複排除されていない場合、これらの Web ページをクロールした後、検索エンジンはこれらの Web ページを保存するために大量のストレージ スペースを必要とし、保存された Web ページに対して後続の検出を実行するためにさらに多くの検出装置を割り当てる必要があります。

したがって、コンテンツ機能情報に基づいて、同じリソース ファイルを指す重複リンクを削除する方法を提供するにはどうすればよいでしょうか?

その対処方法は早急に解決しなければならない問題の一つとなっている。

最初のリンク セット内の最初のリンクのクロール時間。

最初のリンク セット内の最初のリンクの生成時刻。

最初のリンク セットの最初のリンクに対応する Web ページのトラフィック。

最初のリンク セット内の最初のリンクに対応する Web ページの権限。

具体的には、最初のリンク セットの最初のリンクのクロール時間とは、検索エンジンが最初のリンクをクロールして検索エンジン インデックス情報ライブラリに格納する時間を指します。クロール時間が早いほど、対応する最初のリンクが検索エンジンによって早く発見され、ある程度、最初のリンクが指すリソース ファイルの品質も高いことを示します。

最初のリンク セットの最初のリンクの生成時刻は、最初のリンクとそれが指すリソース ファイルがインターネット上で公開された時刻を指します。生成時刻が早いほど、対応する最初のリンクの存続期間が長くなり、ある程度、最初のリンクが指すリソース ファイルの品質も高いことを示します。

最初のリンク セットの最初のリンクに対応する Web ページのトラフィックは、最初のリンクに対応する Web ページへのアクセス数を指します。トラフィックは、毎日、毎週、または毎月になることがあります。トラフィックが大きいほど、最初のリンクに対応する Web ページ、つまり最初のリンクが指すリソース ファイルが配置されている Web ページへのユーザー アクセス数が多くなり、リソース ファイルのユーザー注目度と人気が高くなることを示し、これは、最初のリンクが指すリソース ファイルの品質も高いことを示しています。

最初のリンクセットの最初のリンクに対応するウェブページの権威とは、最初のリンクに対応するウェブページの品質と重要度に関する検索エンジンまたはサードパーティデバイスによる評価を指します。権威が高いほど、最初のリンクに対応するウェブページ、つまり最初のリンクが指しているリソースファイルが配置されているウェブページはより高く、より重要です。これは、最初のリンクが指しているリソースファイルの品質もより高いことを示しています。

技術者は、上記の第1リンクセットの重複排除処理の参照要因は単なる例であり、第1リンクセットの重複排除処理のその他の既存または将来の参照要因が、

このアルゴリズムは、Gou Xiaoyun の SEO ブログで最初に公開されました。これは、Baidu の内部資料から取得されています。http://blog.sina.com.cn/70mazlc

原題: Baidu オリジナル記事と転載検出アルゴリズム

キーワード: SEO、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化