ロボットファイルの詳細におけるよくある3つの間違いの簡単な例

Robots.txt ファイルには数行の文字しかないように見えますが、実際には注意を払う必要がある詳細事項が多数あります。なぜなら、これらの詳細に注意を払わないと、一部の文は効果を発揮しなかったり、まったく効果がなかったりするからです。 robots.txt ファイルは、検索エンジンがサイトにアクセスした後に最初にアクセスするファイルです。このファイルが適切に記述されているかどうかは、サイトの SEO がスムーズに進められるかどうかに関係します。以下では、robots.txt ファイルを使用する際に起こりがちな 3 つの詳細なエラーを例とともに分析します。

エラー 1: 許可と不許可の順序が逆になっています

まず、robots.txt のステートメントを見てみましょう。

ユーザーエージェント: *

許可する： /

禁止: /abcd/

一見すると、このステートメントの目的は、abcd ディレクトリの下のページはクロールできないが、他のすべてのページはクロールできることを検索エンジンに伝えることであることがわかります。しかし、このステートメントの実際の効果は何でしょうか? その効果は、あなたが言いたいことと反対です。なぜでしょうか? 検索エンジンのスパイダーは、ロボット ファイル内のルールを上から下まで実行することがわかっています。これにより、Disallow ステートメントが無効になります。正しい方法は、目的の効果を得るための Disallow: /abcd/ を Allow: / の前に置くことです。

エラー 2: ページをブロックするときに、ページ名の前にスラッシュ「/」がありません

この点は多くのウェブマスターが簡単に見落としていると思います。たとえば、ルートディレクトリにあるページ abcd.html を検索エンジンからブロックしたいとします。robots: Disallow: abcd.html と書く人もいるかもしれません。表面的には問題ないかもしれませんが、まずはブロックするページがどのディレクトリの下にあるかを検索エンジンに伝えてください。これを含めないと、検索エンジンのスパイダーはそれがどのページであるかを識別できません。正しい書き方は、「Disallow: /abcd.html」です。これにより、ルート ディレクトリにある abcd.html ページを実際にブロックできます。

エラー 3: シールドの後にスラッシュ「/」が付いていません

たとえば、ディレクトリ /abcd/ の下のページをブロックしたい場合、Disallow: /abcd と記述する人もいます。このように書くことに問題があるのでしょうか? このように書くことにはやはり問題があり、それは大きな問題です。ただし、これにより /abcd/ ディレクトリの下にあるすべてのページがブロックされる可能性があります。ただし、これにより、/abcd で始まるすべてのページをブロックするという情報が検索エンジンにも伝わります。効果は Disallow: /abcd'* と同等です。このエラーはサイトに大きな影響を与えます。正しい方法は、ブロックするディレクトリの後にスラッシュ「/」を追加することを忘れないことです。

多くのウェブマスターは robots.txt ファイルの重要性をよく認識していると思います。こうした細かい書き方に気を配らないと、robotss.txt 本来の効果が失われるだけでなく、不必要な逆効果も生じてしまいます。この記事で説明した 3 つの詳細が、このドキュメントを作成する際に役立つことを願っています。この記事は元々、韓国映画ウェブマスター http://www.hgdyy.com/ によって作成されました。転載の際は、当社のアドレスを明記してください。

元のタイトル: ロボット ファイルで発生しやすい 3 つの詳細エラーの例

キーワード: 例、簡単な説明、ロボット、ファイル、私たち、発行が簡単、3 つのポイント、詳細、ウェブマスター、Web サイト、Web サイトのプロモーション、収益化