ロボットファイルを使用してウェブサイトの構成を最適化する手順

個人の能力が向上するにつれ、いくつかの新しいプロジェクトの運用を担当するようになりました。これらのプロジェクトによって最適化されたキーワードランキングは比較的良好でしたが、運用中に多くの問題に遭遇しました。これらの問題の発見と解決により、SEO作業における細部の重要性を実感しました。細部が成功と失敗を決定すると言えます。特に、プロジェクトの実際の運用を通じて、ウェブサイトの最適化におけるロボット ファイルの重要性を常に認識してきました。したがって、SEO に詳しい人、特に SEO 分野に不慣れな人は、ロボット ファイルの使用方法やその他の事項について熟知している必要があります。

ロボットファイルは、厳密に言えば robots.txt ファイルです。その真の意味をどのように理解すればよいでしょうか? 実際、robots.txt はコマンドではなく、プロトコルです。検索エンジンがウェブサイトのウェブページをクロールする場合、最初に robots.txt ファイルをクロールします。このファイルの目的は、どのページをクロールできるか、どのページをクロールできないかを検索エンジンに伝えることです。検索エンジンがウェブサイト内のウェブページをクロールする場合、まずウェブサイトのルート ディレクトリにある robots ファイルにアクセスします。このファイルが存在する場合、検索エンジンはファイルに定義されているコンテンツに従ってクロールします。存在しない場合、検索エンジンはクロールが許可されているすべてのページをクロールします。私の理解では、ロボット ファイルは、検索エンジンにどのページにアクセスすべきか、どのページにアクセスすべきでないかを伝えるようなものです。

では、robots.txt ファイルの実際の書き方は何でしょうか? Rongli サイトを運営しているとき、このサイトは古いサイトで動的なページでしたが、現在は静的なページに変更されているため、その中の元のファイルの多くが消えてしまい、検索エンジンがクロールできず、2000 個ものクロール エラーが発生します。そのため、robots ファイルを使用して、これらの見つからなくなったページを定義し、検索エンジンがクロールしないようにする必要があります。これらのコンテンツには robots.txt ファイルの作成が含まれます。 Robots ファイルには 2 つの基本原則があります。これは、記述が最も簡単なロボット ファイルです。1 つ目は User-Agent です。これは、次のルールが適用されるロボットです。2 つ目は Disallow です。これは、ブロックされる Web ページです。Allow は、検索エンジンによるインデックス作成が許可されるアドレスを定義します。したがって、robots ファイルは次のように記述されます。

ユーザーエージェント: * (* ここではすべての検索エンジンの種類を表します。* はワイルドカードです)

禁止: /admin/ この定義は、adminディレクトリの下のディレクトリのクロールを禁止します

Disallow: /require/ この定義は、requireディレクトリの下のディレクトリのクロールを禁止します

禁止: /ABC/ この定義は、ABCディレクトリの下のディレクトリのクロールを禁止します

許可しない: /A は、ファイルとサブディレクトリを含むディレクトリ A 内のすべてのファイルをブロックし、/A*.* 内のファイルもブロックします。

禁止: /cgi-bin/*.htm は、/cgi-bin/ ディレクトリ (サブディレクトリを含む) 内のサフィックスが ".htm" であるすべての URL へのアクセスを禁止します。

Disallow: /*?* ウェブサイト上のすべての動的ページへのアクセスを禁止します

Disallow: /.jpg$ は、Web ページ上のすべての .jpg 形式の画像のクロールを禁止します。

Disallow:/ab/adc.html ab フォルダーの下の adc.html ファイルをクロールすることは禁止されています。

許可: /cgi-bin/ この定義は、cgi-binディレクトリの下のディレクトリのクロールを許可します

許可: /tmp この定義はtmpディレクトリ全体のクロールを許可します

許可: .htm$ 「.htm」で終わる URL のみアクセスが許可されます。

許可: .gif$ はウェブページと gif 形式の画像のクロールを許可します

私のサイト運営では、最もシンプルな robots ファイルである 2 つの基本原則を使用します。これらは次のとおりです。

ユーザーエージェント: *

禁止: /english/ (つまり、english ディレクトリの下のファイルを定義します)

robots.txt ファイルを作成するときは、次の点に注意してください。robots.txt ファイルはサイトのルート ディレクトリに配置する必要があり、通常は Web サイトのバックグラウンドに追加する必要があります。robots.txt ファイル名は小文字にする必要があります。これら 2 つのポイントは単純なことのように思えますが、多くの SEO 専門家が実行時に間違いを犯しがちなので、注意していただきたいと思います。

今では SEO プロジェクトがどんどん増えてきており、SEO 作業は簡単な作業ではないと実感しています。これは、今後 SEO プロジェクトを運営する際には、より自信を持って運営できるよう、細部に注意を払う必要があることも示しています。