ロボットは検索スパイダーのクローリングとグラブを完全にブロックできますか?

検索スパイダーのクロールをブロックする場合、当然 robots.txt ドキュメントが思い浮かびます。 robots.txt とは何でしょうか? 実は、Huizhou SEO Ye Jianhui がすでにこれについて基本的な説明をしています。 Robots.txt は、Web サイト スペースのルート ディレクトリに保存されるテキスト ファイルです。これは、Web サイトのどの部分をクロールできるか、どの部分をクロールできないかを検索スパイダーに伝えるために使用されるプロトコルです。しかし、Ye Jianhui はここで疑問を抱いています。robots.txt はスパイダーのクローリングとクロールを完全にブロックできますか?

Robots.txtはスパイダーのクローリングやクロールをブロックすることができます

最近、友人のXiangyang SEO Chameiが次のような問題に遭遇しました。「明らかにrobots.txtを使用してWordPressのディレクトリファイルをブロックしましたが、なぜスパイダーは毎日いつものようにクロールし続けるのですか？」その後、Ye Jianhuiは当然ウェブサイトのrobots.txtファイルを確認しました。以下はWordPressのディレクトリブロック設定です。

禁止: /wp-admin

禁止: /wp-content

禁止: /wp-includes

確認した後、彼は問題を発見しました。それはディレクトリファイルのブロッキングでした。しかし、ブロッキング設定の後に / が不足しているようでした。Ye Jianhui が相談したところ、彼の友人は「ディレクトリファイルの前に / を追加すれば十分です。最後に追加しても問題ありません。」と考えました。 Ye Jianhui 氏はこれについて別の意見を持っています。末尾に / を追加することと追加しないことは、スパイダーにとって 2 つの異なる概念です。追加すると、スパイダーにこれがフォルダーであると伝え、追加しないと、スパイダーにこれがファイルであると伝えます。その結果、robots.txt で設定を行っても、効果的にブロックすることはできません。もちろん、これはYe Jianhuiの個人的な意見にすぎません。

その後、友人はアドバイスに従って robots.txt を次のように変更しました。

禁止: /wp-admin/

禁止: /wp-content/

禁止: /wp-includes/

変更が成功した後、Baidu Webmaster Platform で再生成操作を送信します (生成を積極的に送信せず、スパイダーによる生成に頼る場合は、時間がかかることに注意してください)。その日のうちに有効になります。翌日、再度ログを確認すると、スパイダーが 3 つの WordPress ディレクトリをクロールしなくなっていたことがわかりました。

この観点から、ウェブサイトの SEO 最適化を行う際には、細部を無視することはできません。たった 1 つの / がさまざまな効果をもたらす可能性があります。

Robots.txtはスパイダーのクローリングを完全にブロックできない

この問題が解決した後、友人はファイルのブロックについて別の質問をしました。「ディレクトリをブロックしたのは明らかですが、なぜスパイダーは依然としてそのディレクトリ内の特定のファイルをクロールしてインデックス付けできるのでしょうか?」

さて、ここで Ye Jianhui が説明する必要があります。robots.txt プロトコルは標準でも仕様でもなく、単なる慣例です。通常、検索エンジンはこのファイルを認識しますが、特別なケースもあります。 （例えば、前回の360事件についてはこの記事では取り上げません）

Baidu でも Google でも、ページに他の Web サイトがリンクしている限り、そのページもインデックスされて含まれる可能性が高くなります。ページ ファイルが Google によってインデックスに登録されないように完全にブロックするには (他の Web サイトからリンクされている場合でも)、ページの先頭に noindex メタ タグまたは x-robots-tag を挿入する必要があります。次のように：

<meta name="googlebot" content="noindex">

Google のスパイダーがページ上の noindex メタタグを検出すると、他のページがリンクしているかどうかに関係なく、そのページを Google の検索結果から完全に削除します。

では、Baidu はどうでしょうか? Baidu に関しては、Google のように noindex を通じてインデックスから Web ページを完全に削除することはサポートされていません。Baidu が Web ページのスナップショットを表示することを禁止する noarchive メタ タグのみをサポートしています。具体的な内容は以下のとおりです。

<meta name="バイダスパイダー" content="noarchive">

上記のタグは、Baidu がページのスナップショットを表示することを禁止するだけですが、Baidu は引き続きそれをインデックスし、検索結果に Web ページの概要を表示します。

ご存知のとおり、Taobao は robots.txt を通じてサイト全体で Baidu スパイダーをブロックしていますが、Baidu で Taobao を検索すると、最初の結果も Taobao のホームページのアドレスになるのはなぜでしょうか。しかし、ページのスナップショットを表示すると、空白になっています。したがって、Web サイトは Baidu スナップショットの表示を禁止することしかできず、Baidu による Web ページのインデックス作成を禁止することはできないようです。

結論：

Ye Jianhui 氏が記事の最初の段落で言及した質問に戻りますが、robots.txt はスパイダーのクローリングとグラブを完全にブロックできますか? このような質問を見ると、肯定的に答える友人もいると思います。これは、私たち全員に発見能力が欠けていることを意味し、スパイダークローリングを効果的にブロックできないことは、最適化作業が十分に詳細ではないことを意味しているに過ぎません。

Ye Jianhui 氏は、robots.txt に関するこれら 2 つの小さな問題に基づいて、私たちが SEO の専門家になるのを妨げているのは、問題を発見する能力と正確に実行する能力であると考えています。

原文は恵州 SEO ブログ http://www.huizhouseo.cn/seo/823.html からのもので、Ye Jianhui 氏が寄稿したものです。

元のタイトル: ロボットは検索スパイダーのクローリングとクロールを完全にブロックできますか?

キーワード: ロボット、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化