Robots.txt に関するいくつかの重要なポイントについてお話しします

SEO 最適化に携わるスタッフは Robots.txt を理解する必要があります。これは、有能な SEO 担当者が知っておくべき知識です。では、ロボットについて私たちは何を知る必要があるのでしょうか?

まず、有能な SEO スタッフとして、Robots.txt はコマンドではなくプロトコルであることを理解する必要があります。 robots.txt は、検索エンジンが Web サイトにアクセスしたときに最初に確認するファイルです。 robots.txt ファイルは、サーバー上のどのファイルが閲覧可能か、またどのファイルがスパイダーによるクロールを許可されていないかをスパイダーに伝えます。

通常、スパイダーが Web サイトにアクセスすると、最初にルート ディレクトリに robots.txt ファイルがあるかどうかを確認します。存在する場合、スパイダーは robots.txt プロトコルに従います。存在しない場合、スパイダーはデフォルトで Web サイト上のすべてのファイルをクロールします。

これを知っていれば、誰もがロボットの重要性を理解していると思います。では、ロボットを書く際の重要なポイントは何でしょうか?今日、Yantai Armpit Odor Homeは独自の見解をいくつかお話しします。

1. robots.txt はサイトのルート ディレクトリに配置する必要があり、ファイル名はすべて小文字にする必要があります。

2. 共通コマンド

ユーザーエージェント: 検索エンジンの種類を定義します

禁止: 検索エンジンによるインデックスを禁止するアドレスを定義します

許可: 検索エンジンによるインデックスが許可されるアドレスを定義します

サイトマップ: 検索エンジンがクロールするウェブサイト マップのアドレスを定義します。

3. User-agentを書く際に注意すべき点がいくつかあります

ユーザーエージェント: *

ここでの * はすべての検索エンジンの種類を表し、 * はワイルドカードです。特定のスパイダープログラムを制限したい場合は、書き込み方法を変更する必要があります。 Google スパイダーに特定の指示を追加するには、「User-agent: Googlebot」と記述し、この定義タイプを記述してから、Allow や Disallow などの特別なプロトコルを記述する必要があります。

4. Disallow と Allow はそれぞれクロール禁止と許可を表します。末尾に対応するアドレスを記入するだけです。たとえば、Disallow: /tmp/ は、tmp ディレクトリのクロールが禁止されていることを意味します。

特定の種類のファイルの書き込み方法を制限したい場合は、$ 記号を理解する必要があります。 $ は、一致する URL の終了文字を表します (例: /.jpg$)。これは、接尾辞が jpg のすべてのファイルを意味します。この方法では、Disallow コマンドと Allow コマンドを組み合わせて、クロールを制限できます。

5. サイトマップの書き方

サイトマップは絶対アドレス、つまり Sitemap:http://www.xx.com/map.xml で記述する必要があります。この形式で記述されている場合にのみ、スパイダーによって読み取ることができます。相対アドレス形式で記述されている場合は、構文エラーが表示されます。

さらに、サイトマップが有効になるためには、サイトマップが Web サイトのルート ディレクトリに配置されている必要があることに注意する必要があります。

6. 現在、Robots.txt を使用して検索エンジン スパイダーによるサイト コンテンツのクロールを制限することは、検索エンジン スパイダーの協力を必要とするルールにすぎません。すべてのスパイダーが Robots.txt に準拠しているわけではありません。

上記の 6 つのポイントは、Robots.txt に関する Yantai Armpit Odor Home の見解の一部です。SEO 初心者にとって役立つものになると思います。この記事は Yantai Armpit Odor Home http://www.tua9.com より寄稿されたものです。転載の際は出典を明記してください。

元のタイトル: Robots.txt に関するいくつかの重要なポイントについて話す

キーワード: ロボット、SEO、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化