検索エンジンがウェブページをクロールする方法

検索エンジンがウェブページをクロールする方法

検索エンジンのクロール、保存、クエリの動作は一見単純に見えますが、各リンクの基礎となるアルゴリズムは非常に複雑です。検索エンジンによるページのクロールはスパイダーによって行われます。クロール アクションは簡単に実行できますが、どのページをクロールするか、どのページを最初にクロールするかを決定するアルゴリズムが必要です。次に、いくつかのクロール アルゴリズムを示します。

1. 幅優先クロール戦略:

ほとんどのウェブサイトがツリー図に従ってページ配分を完了していることは誰もが知っています。では、ツリー図のリンク構造では、どのページが最初にクロールされるのでしょうか。なぜこれらのページを最初にクロールする必要があるのでしょうか。幅優先クロール戦略は、ツリー図構造に従って、同じレベルのリンクを最初にクロールすることです。同じレベルのリンクがクロールされた後、次のレベルのリンクがクロールされます。以下のように表示されます。

私が自分自身を表現する際に、ウェブサイト構造ではなくリンク構造を使用していたことがわかります。ここでのリンク構造は、任意のページからのリンクで構成することができ、必ずしも Web サイトの内部リンクである必要はありません。これは理想的な幅優先のクロール戦略です。実際のクロール プロセスでは、完全な幅優先を考えることは不可能であり、次の図に示すように、制限された幅優先を考えることになります。

上の図では、スパイダーが G リンクを取得したときに、アルゴリズムによって G ページに値がないことがわかったため、悲劇的な G リンクと従属する H リンクがスパイダーによって調和されました。 G-Link がなぜ調和されたのか? では、分析してみましょう。

2. 不完全なトラバーサルリンクの重みの計算:

各検索エンジンにはページランク(Google PRではなくページの重みを指します)の計算方法があり、頻繁に更新されます。インターネットはほぼ無限であり、毎日膨大な数の新しいリンクが生成されます。検索エンジンは不完全なトラバーサルを通じてのみリンクの重みを計算できます。 Google PR はなぜ 3 か月に 1 回しか更新されないのでしょうか。Baidu はなぜ月に 2 回更新されるのでしょうか。これは、検索エンジンがリンクの重みを計算するために、非完全なトラバーサル リンク重みアルゴリズムを使用しているためです。実際、現在の技術によれば、周波数重みの更新を高速化することは難しくありません。計算速度とストレージ速度は追いつくことができますが、なぜそれをしないのでしょうか。それほど必要がないか、実装されているが発表したくないからです。では、非完全なトラバーサルリンクの重みの計算とは何でしょうか?

K 個のリンクの集合を形成し、R はリンクによって得られるページランク、S はリンクに含まれるリンクの数、Q は転送に参加するかどうか、β は減衰係数を表します。リンクによって得られる重みの計算式は次のようになります。

式から、リンクの重みを決定するのは Q であることがわかります。リンクが不正行為であることが判明した場合、または検索エンジンによって手動で削除された場合、またはその他の理由で Q が 0 に設定された場合、外部リンクがいくつあっても役に立たなくなります。 β は減衰係数であり、その主な機能は、重量が 0 になってリンクが重量転送に参加できなくなるのを防ぎ、不正行為を防ぐことです。減衰係数βは通常0.85です。減衰係数がウェブサイトの数で乗算されるのはなぜですか? ページ内のすべてのページが重みの転送に参加するわけではないため、検索エンジンは、すでにフィルタリングされているリンクのさらに 15% を削除します。

ただし、この不完全なトラバーサル重み計算では、再度計算を開始する前に一定数のリンクを蓄積する必要があるため、更新サイクルは一般的に遅くなり、即時の情報を求めるユーザーのニーズを満たすことができません。そこで、これに基づいて、リアルタイムの重量分散クロール戦略が生まれました。つまり、スパイダーがページのクロールを完了してそのページに入ると、すぐに重みを配分し、クロール対象のリンク ライブラリに重みを再配分し、その後、スパイダーは重みに従ってクロールします。

3. ソーシャルエンジニアリングによる奪取戦略

ソーシャルエンジニアリング戦略は、スパイダークローリングのプロセスに人工知能、または人工知能によってトレーニングされた機械知能を追加して、クローリングの優先順位を決定することです。これまでに私が知っているクローリング戦略は次のとおりです。

a. ホットスポット優先戦略: 爆発的なホットキーワードのクロールを優先します。新しいリンクをカバーしたり、ユーザーのアクティブな選択を行ったりするため、厳密な重複排除やフィルタリングは必要ありません。

b. 権威優先戦略: 検索エンジンは各ウェブサイトに権威を割り当て、ウェブサイトの履歴、ウェブサイトの更新などを通じてウェブサイトの権威を判断し、権威の高いウェブサイトリンクを優先的にクロールします。

c. ユーザークリック戦略: ほとんどの人が業界用語内のキーワードを検索し、同じ Web サイトの検索結果を頻繁にクリックすると、検索エンジンはこの Web サイトをより頻繁にクロールします。

d. 履歴参照戦略: 頻繁に更新されるウェブサイトの場合、検索エンジンはウェブサイトの更新履歴を確立し、将来の更新量を予測し、更新履歴に基づいてクロール頻度を決定します。

SEO作業のガイダンス:

検索エンジンのクロール原則については詳しく説明したので、ここでは SEO 作業におけるこれらの原則の指導的役割について簡単に説明します。

A. 定期的かつ定量的な更新により、スパイダーはウェブサイトのページを適時にクロールして取得できるようになります。

B. 企業が運営するウェブサイトは個人のウェブサイトよりも権威がある。

C. 長期間にわたって開設されているウェブサイトはクロールされる可能性が高くなります。

D. リンクはページ内で適切に分散されている必要があります。リンクが多すぎたり少なすぎたりするのはよくありません。

E. ユーザーに人気のあるウェブサイトは検索エンジンでも人気があります。

F. 重要なページは、より浅い Web サイト構造に配置する必要があります。

G. ウェブサイト上の権威ある業界情報は、ウェブサイトの権威を高めます。

これでこのチュートリアルは終了です。次のチュートリアルのトピックは、「ページ値と Web サイトの重みの計算」です。

元の URL: http://www.cmshtml.com/a/201212/30.html


元のタイトル: 検索エンジンはどのようにして Web ページをクロールするのか?

キーワード: SEO、Baidu の最適化、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化

<<:  ジェイドエンタープライズウェブサイト最適化の実践分析

>>:  1ページのみでBaiduで良いランキングを獲得する方法

推薦する

anynode-2.5 USD/無料 Win03/KVM/256 メモリ/30 GB ハードドライブ/500 GB トラフィック

最近、多くの友人から Windows VPS に対する大きな要望があります。ここでは、無料の Win...

クラウドは「エッジ」になっていますか?エッジクラウドコンピューティングがクラウド戦略に与える長期的な影響を分析する

新しい技術用語が継続的に出現することは避けられませんが、現在最も人気のある用語はエッジ コンピューテ...

Hujiang.com の教育方法: オンライン スクールはビデオだけではない

文 | CBN記者 ゾウ・トン、インターン記者 ソン・ジン3年前、Hujiang.comの創設者であ...

インフォアが15億ドルの投資を発表、IPOを計画

業界特化型ビジネスクラウドソフトウェアの大手グローバルプロバイダーであるInforは本日、Koch ...

マーケティング変革:精密マーケティングの時代に、顧客関係をどのようにアップグレードするか?

2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っています私は『王道...

エンタープライズクラウドの導入: クラウドストレージを導入するための 3 つのステップ

近年、クラウド ストレージは従来のエンタープライズ ストレージの状況を一変させました。パブリック ク...

hostodo: 年間 25 ドル、アジア最適化 (+cn2 ネットワーク)、KVM/768M/20g ハードディスク/750g トラフィック

hostodo のボスは、KVM や OpenVZ を含む 6 つの特別な VPS を送ってくれまし...

alnitech-40USD/E3-1230v2/16GB RAM/2X1T HDD/100M 無制限/5IP

alnitech.com では、E3 U、16G メモリ、2 つの 1T ディスク、100M 無制限...

クラウドでのビッグデータの詳細な分析の実装

1. クラウドコンピューティングについてクラウドはIT業界でホットな話題です。人気が高まり、利用する...

A5SEO 診断: ウェブサイトの外部リンクを購入していますか?ルーティンだけが人々の心を掴むことができるのです!

2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っていますSEO は...

中国のエッジコンピューティングサーバーの年平均成長率は2020年から2025年にかけて22.2%に達すると予想されている。

IDCが最近発表した「中国半期エッジコンピューティングサーバー市場(2021年下半期)追跡レポート」...

JD Retail Cloud mPaaS プラットフォーム: Android コンポーネント化システムのプライベート展開と変換の実践

1. 背景現在、クラウドコンピューティングは間違いなく非常にホットな話題です。テクノロジー企業と従来...

高品質で関連性の高い外部リンクを作成する方法

百度の外部リンクアルゴリズムは、昨年と今年、多くの紆余曲折を経験しました。アルゴリズムは常に変化して...

朗報:iwstack が米国ダラスにデータセンターを開設

Prometeus 傘下の VPS クラウドである iwstack が、ついに米国ダラスのデータセン...

ついにクラウド コンピューティング、ビッグ データ、人工知能をわかりやすく説明してくれる人が現れました。

今日はクラウド コンピューティング、ビッグ データ、人工知能についてお話します。これら 3 つの単語...