ウェブサイトを最適化すると検索エンジンがコンテンツをクロールしてインデックスしやすくなる理由を簡単に分析します。

オンラインの世界は非常に広大で、新しいコンテンツが常に生成されています。 Google 自身のリソースには限りがあります。ほぼ無限の Web コンテンツがある場合、Googlebot はそのうちの一定の割合しか見つけてクロールできません。そうすると、すでにクロールしたコンテンツのうち、その一部しかインデックス化できなくなります。 URL は、Web サイトと検索エンジン クローラーの間の橋渡しのような役割を果たします。Web サイトのコンテンツをクロールするには、クローラーがこれらの橋渡しを見つけて通過できる必要があります (つまり、URL を見つけてクロールする必要があります)。 URL が複雑または長い場合、クローラーは URL を何度もたどる必要があり、時間がかかります。URL が簡潔で、独自のコンテンツに直接リンクしている場合、クローラーは空のページをクロールしたり、異なる URL に誘導されて同じ重複コンテンツをクロールしたりするのではなく、コンテンツの学習に集中できます。

上のスライドでは、避けるべき反例をいくつか見ることができます。これらは、ハッキングされた URL やエンコード、URL パスの一部として偽装された冗長なパラメータ、無限のクロール スペースなど、実際の URL の例です (ただし、プライバシー上の理由から名前は変更されています)。また、この URL の迷路を整理し、クローラーがコンテンツをより速く、より適切に見つけられるようにするためのいくつかの提案も見つかります。主な提案には、URL からユーザー関連のパラメータを削除することが含まれます。セッション ID や並べ替えパラメータなど、ページのコンテンツに影響を与えない URL 内のパラメータは、URL から削除され、Cookie によって記録されます。この情報を Cookie に保存し、「クリーンな」 URL に 301 リダイレクトすることで、元のコンテンツを維持し、同じコンテンツを指す URL の数を減らすことができます。

無限の空間をコントロールします。あなたのサイトには、過去と未来の日付へのリンクが無数にあるカレンダーがありますか (各リンクは一意です)?ページの数がそれほど多くない場合でも、パラメータ &page=3563 を追加した後も、Web アドレスは 200 コードを返しますか?この場合、サイトにはいわゆる「無限のスペース」が存在し、クローラーとサイトの両方の帯域幅が無駄になります。 「無限の空間」を制御するためのヒントをいくつか紹介します。 Google クローラーが処理できないページをクロールしないようにします。 robots.txt ファイルを使用すると、ログイン ページ、お問い合わせフォーム、ショッピング カート、およびクローラーが処理できないその他のページをブロックできます。 (クローラーはケチで恥ずかしがり屋として知られているため、通常は自分で「商品をカートに追加」したり「お問い合わせ」したりすることはありません)。こうすることで、クローラーが処理できる範囲でサイトのコンテンツをクロールする時間を長くすることができます。

一人一票。 URL、コンテンツの一部。理想的な世界では、URL とコンテンツは 1 対 1 で対応します。つまり、各 URL は固有のコンテンツに対応し、各コンテンツには固有の URL を通じてのみアクセスできます。この理想的な状況に近づくほど、Web サイトのクロールとインデックス作成が容易になります。コンテンツ管理システムまたは現在のサイト設定によりこれが難しい場合は、rel=canonical 要素を使用して、特定のコンテンツを参照するために使用する URL を設定することができます。

元のタイトル: ウェブサイトを最適化すると検索エンジンがコンテンツをクロールしてインデックスしやすくなる理由の簡単な分析

キーワード: 検索エンジン