ウェブサイトでの robots.txt の使用に関するよくある誤解

数日前、robots.txt のルールに関する誤解について書き、Baidu と Google のロボット ツールの使用を紹介しました。robots.txt ファイルのルールに関する誤解をいくつか紹介しましたが、実際にはそれ以上に、誰もが気づいていない誤解がたくさんあることがわかりました。

今日は、robots.txt の実際の使用に関するよくある誤解を再度リストアップしてみましょう。

誤解 1: Allow は Disallow よりも広い範囲をカバーし、Disallow の前に配置されます。

たとえば、多くの人が次のように書いています。

ユーザーエージェント: *

許可する： /

禁止: /mulu/

すべてのスパイダーが /mulu/ の下の URL を除くこのサイトのすべてのページをクロールし、/mulu/ の下のすべての URL のクロールを禁止するようにします。

検索エンジンのスパイダーはルールを上から下へ実行するため、2 番目のコマンドは失敗します。これは、/mulu/ ディレクトリのクロール禁止ルールが無効であることを意味します。正しくは、Disallow が Allow より上に設定され、有効になるはずです。

誤解 2: Disallow コマンドと Allow コマンドはスラッシュ「/」で始まりません。

これも見落とされやすいです。たとえば、 Disallow: 123.html と書いても効果はありません。スラッシュ「/」は、ルートディレクトリに対するファイルの相対的な場所を示します。これがないと、どの URL であるかを判別できないため、これは誤りです。

正解は Disallow: /123.html です。これにより、/123.html ファイルがブロックされ、このルールが有効になります。

誤解 3: ブロックされたディレクトリの後にスラッシュ「/」がありません。

たとえば、/mulu/ ディレクトリのクロールをブロックしたい場合、Disallow: /mulu と記述する人もいます。それでこれは正しいのでしょうか?

まず、このように記述すると (Disallow: /mulu)、確かに /mulu/ の下にあるすべての URL をブロックできますが、/mulu123.html などの /mulu で始まるすべてのページもブロックされ、Disallow: /mulu* と同じ効果があります。

ディレクトリのみをブロックしたい場合は、最後にスラッシュ「/」を付けるのが正しい方法です。

転載の際は、Xiaoyao Blogの記事であることを明記してください。この記事のアドレスは、http://liboseo.com/1193.htmlです。

転載の際は出典とリンクを明記してください！

元のタイトル: ウェブサイトでの robots.txt の使用に関するよくある誤解

キーワード: ロボット、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化