Googleはフォームを送信することで新しいページをクロールします

Google はすでに最も多くのページをクロールする検索エンジンですが、発見やクロールが難しい Web ページや情報が多数あるため、まだ満足していません。そのため、Web サイトを構築する際には、検索エンジンとの相性に注意する必要があります。

現在、Google は、その背後にある Web ページを発見するための送信フォームの提供を開始しました。詳しい説明を書きたかったのですが、Disillusionment がすでに書かれていたので、以下に主要部分だけ引用します。

Googlebot は、テキスト、ビデオ、オーディオ、Flash などの種類のコンテンツをクロールするだけでなく、JS コードを通じてリンクもクロールできることはすでにわかっています。そして将来的には、Googlebot が画像や動画内のテキストを直接認識できるようになると予想されています。 Google は、インターネットのコンテンツをさらにクロールするために、フォームを送信することで Googlebot がより多くのコンテンツをクロールできるようになると発表しました。

Google によると、Googlebot は現在、少数の高品質サイトでフォーム送信の実験を行っています。 Googlebot は、これらのウェブサイトで HTML フォームを見つけると (つまり、検出すると)、ウェブサイトからいくつかの単語を自動的に選択してフォームのテキスト ボックスに入力し、さまざまなボタンを選択し、オプションと検証項目をチェックして、フォームを送信します。フォームの送信後、Googlebot が新しいコンテンツが正当で、興味深く、ユニークであると判断すると、そのコンテンツを Google の検索結果インデックス データベースにクロールすることがあります。これは、Googlebot がフォームを送信して新しいコンテンツを取得する方法を理解するようになったことを意味します。

同時に、Google は、ウェブサイトの robots.txt ファイルでフォームの非表示が禁止されており、フォームの送信後に生成されるリンクをクロールしたくない場合は、Googlebot はクロールしないことも強調しました。また、現在 Googlebot は GET タイプのフォームのみを送信します。たとえば、フォームでユーザーにパスワード、ユーザー名、連絡先などの個人情報の入力を求める場合、Googlebot は自動的にこれらのフォームをスキップします。

このフォームクロールは現時点では小規模な実験に過ぎず、Google はウェブサイトには影響しないと述べている。ウェブサイトの PR 価値には影響しません。また、ウェブサイトの通常のクロールやランキングにも影響しません。

Matt Cutts 氏も、これを行うことの利点の例を挙げた記事を書いています。ホームページには、支店をリンク形式で一覧表示せずに、会社の地域支店を表形式で単に一覧表示している Web サイトが多数あります。これまで、このタイプの Web サイトは、フォームを送信しないと Google がフォームの背後に隠された URL を見つけることができなかったため、深くインデックスすることができませんでした。

これにより、確かに一部の Web サイトが対象になる機会が生まれますが、一部の企業の Web サイトにセキュリティ上のリスクももたらされるのでしょうか?ウェブサイトの一部を含めたくない場合は、robots.txt ファイルを使用してブロックします。

元のタイトル: Google はフォームを送信することで新しいページをクロールします

キーワード: GOOGLE