秘密: 検索エンジンのスパイダーはどこからクロールを開始するのでしょうか?

検索エンジンの仕組みを理解している SEO 担当者は、検索エンジン スパイダーの存在を知っています。私たち SEO 担当者は、毎日ログにスパイダーが表示されるのをとても楽しみにしており、スパイダーが Web サイトに毎分表示されるようにしたいと思っています。なぜでしょうか。それは、スパイダーがなければ、サイトのコンテンツはインデックス化されず、検索エンジンに含まれないからです。検索エンジンに含まれて初めて、私たちのサイトの情報は大多数のネットユーザーに見つけられ、閲覧されるようになります。

まず、検索エンジン スパイダーとは何かを一般向けに説明しましょう。検索エンジン スパイダー (Web スパイダー、ネットワーク ロボットなどとも呼ばれます) は、特定のルールに従って World Wide Web 情報を自動的にクロールするプログラムまたはスクリプトです。

また、検索エンジンの動作原理は、簡単に言えば、クロール、前処理、並べ替えです。サイトのランキングを良くしたい場合、クロールとクロールの最初のステップが非常に重要です。今日主に議論しているのは、膨大な量の情報と数十億の Web ページがあるインターネットの巨大な世界です。では、検索エンジン スパイダーの出発点はどこにあるのでしょうか。この小さなスパイダーは、膨大な量の情報を取得するためにインターネットのクロールをどこから始めるのでしょうか。

かつて公式関係者によって明らかにされた情報によると、検索エンジンのスパイダーは、最も信頼できると思われるウェブサイトからクロールを開始し、その後、これらの信頼できるページに表示される URL に沿ってクロールし続けるとのことです。ここでは「最も信頼されるウェブサイト」という非常に重要なキーワードがありますが、検索エンジンはどのようなサイトを最も信頼するのでしょうか?

私の個人的な理解では、検索エンジンに認識され、ある程度の権威を持ち、ユーザーに好まれているサイト、たとえば百度のニュースソースサイトは、百度のニュースソースになることができるので、百度に認識され、信頼されているに違いありません。検索エンジンのスパイダーは、これらのサイトを非常に頻繁に、少なくとも5分に1回はクロールして取得します。

また、百度自体も、知道、鉄破など自社製品に対する信頼度が高いはずです。これらのプラットフォームにはスパイダーが常駐しているのでしょう。

実は、これらの質問を理解するのは難しくありません。日常生活における対人コミュニケーションと同じです。何かを知りたい場合は、最も信頼できる人から始めて、徐々に広げていく必要があります。検索エンジンのスパイダーについても同様です。

この原理とスパイダーのクローリングの開始点を理解すると、サイトを検索エンジンにすばやくインデックスさせる方法も理解できるようになります。

著者: Zhou Sai。その他の共有元: http://www.saiweish.com。転載の際は出典を明記してください。

元のタイトル: 秘密を明かす: 検索エンジンのスパイダーはどこからクロールを開始するのか?

キーワード: 検索エンジン、SEO、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化