検索エンジンは # (ハッシュ値) を含む URL をクロールしますか?

私のウェブサイトのさまざまなアドレスには、必然的に # が付いた URL がいくつかあります。通常、リンクをクリックすると、ウェブページ上の特定の位置にジャンプし、情報コンテンツをすばやく見つけることができます。このサイトで使用される記事内ディレクトリはこのように機能します。しかし、# を含むこの URL は検索エンジンによってインデックスされるでしょうか?

1. ハッシュ値とは何ですか?

Ruan Yifeng のブログにハッシュ値について非常にわかりやすく説明している記事があります。# 値は http リクエストではなく、ブラウザのアクションです。 # を使用すると、Web ページ上の特定の場所をすばやく見つけることができます。 id="comment-121" またはこの位置をすぐに見つけます。

2. 検索エンジンは # (ハッシュ値) を含む URL をクロールしますか?

答えは一般的に「いいえ」です。検索エンジンがページをクロールする場合、まず http プロトコルに従う必要がありますが、# はプロトコルの一部ではありません。実際、これも真実です。検索エンジンの検索結果で、Web ページ内の特定の場所をすばやく見つけることができる記録を見たことはありません。したがって、ウェブサイトの内外に # を使用したアンカーリンクを追加することで、初めて訪問したときに検索エンジンがすぐに見つけられるようになることを期待するのは非現実的です。もちろん、実際のユーザーをシミュレートするために、検索エンジンのスパイダーは、ウェブサイトにアクセスした後のマウスクリックの効果をシミュレートする技術を使用します。この時点では、ページのアンカーリンクは引き続き機能しますが、検索結果のリンクには # が付きません。

3. URL 内の #! の機能は何ですか?

これは違反 2 の特殊なケースで、Google は #! を含む URL をクロールします。 Google では、Ajax によって生成されたコンテンツをブラウジング エンジンで読み取る場合は、URL で「#!」を使用でき (このタイプの URL は、通常、一般的なページでは位置調整効果を生成しません)、その後のコンテンツがクエリ文字列 _escaped_fragment_ の値に Google によって自動的に変換されると規定しています。たとえば、/#!/username は /?_escaped_fragment_=/username と同等であり、? を含む URL がクロールされるため、#! を含む URL は Google に含まれます。

4. 検索エンジンは # (ハッシュ値) を含む URL を取得しますか?

1. robots.txt を使用して # を含む URL をブロックしないでください。以前、# を含む URL がクロールされないようにするために、Solu.com の robots.txt に disallow:/*#* ルールを追加した際に間違いを発見しました。しかし、実はこのアプローチは間違っています。まず、# は robots.txt ではコメント記号であり、それ以降の内容はコメントアウトされるため、このルールは disallow:/* となり、このサイトのすべてのページが含まれないようにブロックすることになります。幸い、私は今朝これに気付き、すぐに変更しました。第二に、検索エンジンは # を含む URL をクロールしないため、このようなルールを追加する必要はありません。

次に、# と ajax を使用して、クロールされたくないコンテンツを非表示にすることができます。一部の Web ページには、検索エンジンに直接伝えたくないコンテンツや、クロールされたくないプライバシー情報が含まれている場合があります。そのため、# を使用してこれらの情報の表示を制御できます。例えば、ボタンを追加します。URLに#show-info-123が含まれている場合は123の個人情報が表示されますが、含まれていない場合は表示されません。検索エンジンに関しては、# の付いた URL は自動的に無視されるため、123 の個人情報は取得されません。

元のタイトル: 検索エンジンは # (ハッシュ値) を含む URL をクロールしますか?

キーワード: 検索、エンジン、クロール可能かどうか、取得、ハッシュ値、URL、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化