初心者向け SEO の概念: クロールとインデックスの違い

クロールとインデックス作成は、SEO における 2 つの専門用語です。多くの初心者は SEO に触れると、この 2 つの単語を混同し、クロールとインデックス作成を同じものだと考えてしまいます。今日は、クロールとインデックスの違いについて詳しく説明します。

1. 這う

検索エンジンのスパイダーがサイトをクロールする場合、クロールされるサイト内の URL は 1 つだけです。検索エンジンは他の Web ページからのリンクを追跡してこのサイトにクロールできるため、クロールとは、検索エンジンがリンクに従ってサイトの特定の URL をクロールすることを意味します。

上記の概念は少し抽象的かもしれませんので、例を挙げて簡単に説明しましょう。たとえば、多くの場合、スパイダーがサイトをクロールしているとき、サイト内の次のようなリンクはクロールできません。

（1）リンクのエンコーディングはJavascriptです。これは「スパイダートラップ」と呼ばれ、サイトをクロールするときにスパイダーがこれらのリンクのクロールを自動的にブロックします。

（２）リンクはrobots.txtで「禁止」指示としてマークされています。

（３）孤立したリンク（誰も貼っていないsitemaps.xml、このようなリンクを含む）

（４）リンク先のページがリンクnofollow指示を含むページである

（５）このリンクは本来クロールされる予定でしたが、サーバーの不安定さのためクロールできませんでした。

2. 索引

インデックス作成とクロールの最大の違いは、インデックス作成は特定の URL をクロールするのではなく、ページ内の多数の URL をクロールすることです。簡単に言うと、検索エンジンはどのページをインデックスするかを決定すると、このページ内のすべての URL を処理してクロールします。クロール プロセス中、スパイダーはページの内容に基づいて適切な処理を実行します。簡単な例を挙げると、一部のページのコンテンツに URL がありますが、この URL に NOINDEX ディレクティブが追加されている場合、検索エンジンはこのページをクロールしません。

サイトのページがインデックスに登録されない理由:

（１）ページにNOINDEXディレクティブ（）が含まれている

（2）重複コンテンツ：同じコンテンツのページはインデックスされない場合があります。

（３）その他の理由：リンク年齢とリンク人気

初心者がサイト内のどのページがインデックスされているかを知りたい場合は、「サイト + ウェブサイトのドメイン名」で検索できます。このようにして、検索エンジンはスパイダーによってインデックスされているページ数と、それがどのページであるかを表示します。

クローリングとインデックス作成はどちらもスパイダーがサイトを巡回することを指しますが、その指示は異なります。ここでは、これらを区別するために注意することをお勧めします。

この記事はもともと http://www.jiaodahaiwai.net に掲載され、最初に A5 に掲載されました。転載する際は有効なリンク アドレスをそのままにしておいてください。ありがとうございます!

元のタイトル: 初心者向け SEO の概念: クロールとインデックスの違い

キーワード: 初心者、SEO、コンセプト、クロール、インデックス、2、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化