検索エンジンがウェブページをクロールする方法

検索エンジンがウェブページをクロールする方法

検索エンジンのクロール、保存、クエリの動作は一見単純に見えますが、各リンクの基礎となるアルゴリズムは非常に複雑です。検索エンジンによるページのクロールはスパイダーによって行われます。クロール アクションは簡単に実行できますが、どのページをクロールするか、どのページを最初にクロールするかを決定するアルゴリズムが必要です。次に、いくつかのクロール アルゴリズムを示します。

1. 幅優先クロール戦略:

ほとんどのウェブサイトがツリー図に従ってページ配分を完了していることは誰もが知っています。では、ツリー図のリンク構造では、どのページが最初にクロールされるのでしょうか。なぜこれらのページを最初にクロールする必要があるのでしょうか。幅優先クロール戦略は、ツリー図構造に従って、同じレベルのリンクを最初にクロールすることです。同じレベルのリンクがクロールされた後、次のレベルのリンクがクロールされます。以下のように表示されます。

私が自分自身を表現する際に、ウェブサイト構造ではなくリンク構造を使用していたことがわかります。ここでのリンク構造は、任意のページからのリンクで構成することができ、必ずしも Web サイトの内部リンクである必要はありません。これは理想的な幅優先のクロール戦略です。実際のクロール プロセスでは、完全な幅優先を考えることは不可能であり、次の図に示すように、制限された幅優先を考えることになります。

上の図では、スパイダーが G リンクを取得したときに、アルゴリズムによって G ページに値がないことがわかったため、悲劇的な G リンクと従属する H リンクがスパイダーによって調和されました。 G-Link がなぜ調和されたのか? では、分析してみましょう。

2. 不完全なトラバーサルリンクの重みの計算:

各検索エンジンにはページランク(Google PRではなくページの重みを指します)の計算方法があり、頻繁に更新されます。インターネットはほぼ無限であり、毎日膨大な数の新しいリンクが生成されます。検索エンジンは不完全なトラバーサルを通じてのみリンクの重みを計算できます。 Google PR はなぜ 3 か月に 1 回しか更新されないのでしょうか。Baidu はなぜ月に 2 回更新されるのでしょうか。これは、検索エンジンがリンクの重みを計算するために、非完全なトラバーサル リンク重みアルゴリズムを使用しているためです。実際、現在の技術によれば、周波数重みの更新を高速化することは難しくありません。計算速度とストレージ速度は追いつくことができますが、なぜそれをしないのでしょうか。それほど必要がないか、実装されているが発表したくないからです。では、非完全なトラバーサルリンクの重みの計算とは何でしょうか?

K 個のリンクの集合を形成し、R はリンクによって得られるページランク、S はリンクに含まれるリンクの数、Q は転送に参加するかどうか、β は減衰係数を表します。リンクによって得られる重みの計算式は次のようになります。

式から、リンクの重みを決定するのは Q であることがわかります。リンクが不正行為であることが判明した場合、または検索エンジンによって手動で削除された場合、またはその他の理由で Q が 0 に設定された場合、外部リンクがいくつあっても役に立たなくなります。 β は減衰係数であり、その主な機能は、重量が 0 になってリンクが重量転送に参加できなくなるのを防ぎ、不正行為を防ぐことです。減衰係数βは通常0.85です。減衰係数がウェブサイトの数で乗算されるのはなぜですか? ページ内のすべてのページが重みの転送に参加するわけではないため、検索エンジンは、すでにフィルタリングされているリンクのさらに 15% を削除します。

ただし、この不完全なトラバーサル重み計算では、再度計算を開始する前に一定数のリンクを蓄積する必要があるため、更新サイクルは一般的に遅くなり、即時の情報を求めるユーザーのニーズを満たすことができません。そこで、これに基づいて、リアルタイムの重量分散クロール戦略が生まれました。つまり、スパイダーがページのクロールを完了してそのページに入ると、すぐに重みを配分し、クロール対象のリンク ライブラリに重みを再配分し、その後、スパイダーは重みに従ってクロールします。

3. ソーシャルエンジニアリングによる奪取戦略

ソーシャルエンジニアリング戦略は、スパイダークローリングのプロセスに人工知能、または人工知能によってトレーニングされた機械知能を追加して、クローリングの優先順位を決定することです。これまでに私が知っているクローリング戦略は次のとおりです。

a. ホットスポット優先戦略: 爆発的なホットキーワードのクロールを優先します。新しいリンクをカバーしたり、ユーザーのアクティブな選択を行ったりするため、厳密な重複排除やフィルタリングは必要ありません。

b. 権威優先戦略: 検索エンジンは各ウェブサイトに権威を割り当て、ウェブサイトの履歴、ウェブサイトの更新などを通じてウェブサイトの権威を判断し、権威の高いウェブサイトリンクを優先的にクロールします。

c. ユーザークリック戦略: ほとんどの人が業界用語内のキーワードを検索し、同じ Web サイトの検索結果を頻繁にクリックすると、検索エンジンはこの Web サイトをより頻繁にクロールします。

d. 履歴参照戦略: 頻繁に更新されるウェブサイトの場合、検索エンジンはウェブサイトの更新履歴を確立し、将来の更新量を予測し、更新履歴に基づいてクロール頻度を決定します。

SEO作業のガイダンス:

検索エンジンのクロール原則については詳しく説明したので、ここでは SEO 作業におけるこれらの原則の指導的役割について簡単に説明します。

A. 定期的かつ定量的な更新により、スパイダーはウェブサイトのページを適時にクロールして取得できるようになります。

B. 企業が運営するウェブサイトは個人のウェブサイトよりも権威がある。

C. 長期間にわたって開設されているウェブサイトはクロールされる可能性が高くなります。

D. リンクはページ内で適切に分散されている必要があります。リンクが多すぎたり少なすぎたりするのはよくありません。

E. ユーザーに人気のあるウェブサイトは検索エンジンでも人気があります。

F. 重要なページは、より浅い Web サイト構造に配置する必要があります。

G. ウェブサイト上の権威ある業界情報は、ウェブサイトの権威を高めます。

これでこのチュートリアルは終了です。次のチュートリアルのトピックは、「ページ値と Web サイトの重みの計算」です。

元の URL: http://www.cmshtml.com/a/201212/30.html


元のタイトル: 検索エンジンはどのようにして Web ページをクロールするのか?

キーワード: SEO、Baidu の最適化、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化

<<:  ジェイドエンタープライズウェブサイト最適化の実践分析

>>:  1ページのみでBaiduで良いランキングを獲得する方法

推薦する

私のタオバオ衣料品サイトデータによって引き起こされた降格問題の簡単な分析

中国ウェブマスターステーションの草の根メンバーの皆さん、こんにちは!今日は、このインターネット改革の...

greencloudvps: ロサンゼルス VPS、年間 24 ドル、1G メモリ/1 コア (Ryzen)/15g NVMe/1.5T トラフィック

greencloudvps は、米国ロサンゼルス データ センターに AMD RYZEN シリーズ ...

無料のウェブサイトソースコードの使い方

2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っていますインターネ...

ケース分析: nofollow タグを使用する際のバランスの取り方

nofollow タグが SEO 担当者の視野に入ってから 1 年以上経ちました。過去 1 年ほどの...

北京のインターネット漂流:李延紅の理想と引き換えの「不法滞在」10年

データマップ:百度創設者ロビン・リー中国新聞社、8月7日:1999年8月、海淀区政府は大規模な解体・...

Baizong Technology:香港大埔データセンター、双方向CN2回線、5G防御、1,300元/月、2*e5-2650L/32Gメモリ/1TSSD/10M帯域幅/3IP

Baizong Technologyの香港Dapuデータセンターに双方向CN2回線を備えた独立サーバ...

SEO総合最適化概要

おそらく私たちは、SEO に関する話題について、聞きすぎ、見すぎ、考えすぎているのかもしれません。し...

毛沢東思想を身につけて総合的なウェブマスターになろう

毛沢東は偉大な人物でした。彼が世界に残したのは、私たち中国人が自らの運命を決定できる国だけではなく、...

インターネット時代のキーワード「デジタル著作権」

世界的に有名なレコード会社11社がヤフー中国を提訴し、世界的に有名なレコード会社7社が共同で百度を著...

4月の海外ドメインホスティング会社トップ10:HostGatorが第4位、Yahooが第7位

IDC Review Network (idcps.com) は 5 月 4 日に次のように報告しま...

ブランドワールドカップマーケティングの進化

4年に一度のワールドカップが近づいています。ワールドカップのたびに、多くのブランドが実際の資金でワー...

キーワードランキング戦略モデル: 密度と品質が共存する

SEO 最適化担当者として、コードを使用して Web サイトを整理し、基本的な SEO 最適化手法を...

58.comなどのウェブサイトは血液供給に依存している疑いがあり、その収益モデルに疑問が投げかけられている

「資本連鎖の崩壊」「幹部の辞任」「崩壊の危機」…この半月、機密情報サイトの二大巨頭、Ganji.co...