ウェブサイト最適化の最初のレッスン: スパイダーの仕組みを理解する

ウェブサイト最適化の専門家として、スパイダーの仕組みを理解していなければ、そのような最適化は間違いなく効果がありません。スパイダーを理解することは、ウェブサイト最適化の専門家にとって最初のレッスンであるべきです。

先週末、ある企業からの招待を受け、検索エンジン最適化（SEO）の研修を行い、スキル向上を図りました。それは私が最も見たくないことです。彼らの SEO スタッフの日々の仕事は、いまだに疑似オリジナリティと外部リンクの掲載という 2 つの段階にあります。ざっと最適化結果を見てみましたが、ドメイン関連のドメイン数は10,000以上に達していましたが、最終的な効果は理想的ではありませんでした。読んでみて、コストが高すぎるのでやらないほうがいいと感じました。

ここには外部リンクやコンテンツについて詳しい SEO 専門家がたくさんいます。これらを共有する必要はありません。今日はクモについてのみお話します。これは私が彼らの会社をトレーニングしていたときに発見した非常に深刻な問題です。彼らは皆、クモについて聞いたことがあり、クモが何をするのかを知っていますが、クモがどのように機能するかは知りません。

1. スパイダーはどこから来て、どのようにしてあなたのウェブサイトにたどり着くのでしょうか?

一般的に、スパイダーは、メインの送信サイト、他の Web サイトへの接続を通じて Web サイトを追跡すること、および特定のルールに従った自由な移動という 3 つの方法で Web サイトにアクセスできます。

スパイダーは今ではとても賢くなっており、ウェブサイトを投稿する必要はないと多くの人が言っています。実は、これは間違いです。他のウェブサイトに投稿した外部リンクがスパイダーを引き寄せたからです。どちらの形式も実行可能です。最後の形式の方が特殊です。通常、スパイダーはドメイン名を 1-0、az の形式でスキャンし、そこに Web サイトを入力すると考えられています。

2. ウェブサイトへのメインの入り口であるロボットを最大限に活用する

一般的に、Robots ファイルは、Web サイト上のスパイダー活動の範囲を制限し、Web サイト所有者の権利とプライバシーをより適切に保護するために使用されます。これは、スパイダーが Web サイトに到着した後に最初に行うことです。Web サイトにこのファイルがない場合、スパイダーは Web サイトのすべてのコンテンツをマイニングできると想定します。

Robots ファイルでは、通常、Disallow のみが使用されます。実際には、推奨されている Allow を使用することもできます。ウェブサイトには、スパイダーがクロールできない暗いコーナーがたくさんあります。このとき、「許可」を使用してスパイダーを誘導できます。スパイダーが移動するためのマップ ページをさらに作成できます。

また、なぜ Allow を使用する必要があるのか​​、Sitemap を直接使用できないのかと言う人もいます。 Google は、誰にとってもより重要なサイトマップを問題なく理解できることは誰もが知っていますが、Baidu スパイダーはサイトマップを理解するのに問題があり、その役割を十分に果たすことができません。

3. クモがドメイン内でどのように移動するか

皆さんは百度が提供している「検索エンジン最適化ガイド」を読んだことがあると思います。鄭州知奇ネットワークテクノロジーは、まだ見たことのないSEO担当者に一読を勧めています。その中で、同社が特に推奨するURL手法、ツリー型とフラット型について言及されています。これは最適化に役立つということだけが分かっていますが、なぜこれを行うのかは分かりません。

スパイダーは、特定の領域内で幅と深さという 2 つの原則に従います。その中でも、広さが優先されると考えており、スパイダーは一般的に特定のドメイン内であまり深くクロールしません。ページが完了すると、スパイダーは豊富な内部リンク情報を含む次のページに移動します。チャンネル ページやリスト ページにすると、スパイダーが Web サイトをよりスムーズにクロールできるようになります。

実際、Web サイトを domain/url_a/ の形式で作成する必要はありません。ページが前のページと同じくらい充実していれば、domain/url_a.html でもかまいません。ここで言う豊富さはコンテンツではなく、内部リンクのことです。

4. ウェブサイト上のスパイダーの権限は、一般の未登録会員の権限と同等である

簡単に説明しておきますが、スパイダーはウェブサイトの未登録メンバーに相当し、その権限はこれだけです。ウェブサイトが未登録メンバーに公開されていない場合、またはメンバーの友人にのみ公開されるようにプライバシー権限が設定されている場合、または他の何らかの理由で、スパイダーがコンテンツをクロールすることは不可能です。

これは、外部リンクを多様な方法で公開し、スパイダーがさまざまな視点から Web サイトを理解できるようにする重要な理由の 1 つでもあります。この記事は元々、鄭州知奇ネットワークテクノロジーウェブサイト構築部（http://www.ezhiqi.com/?list-1169.html）によって作成されました。転載の際は、元のコンテンツを保持してください。鄭州知奇ネットワークテクノロジーは、鄭州のより多くの企業と個人がインターネットを理解し、インターネットを使用し、インターネット上で成長し発展するのを支援することを望んでいます。

元のタイトル: ウェブサイト最適化の最初のレッスン: スパイダーの仕組みを理解する

キーワード: ウェブサイト、最適化、レッスン、理解、スパイダー、方法、作業、ウェブマスター、ウェブサイトのプロモーション、収益化