ウェブマスターは検索プロトコルを理解し、robots.txtファイルに陥らないように注意する必要があります。

諺にもあるように、「技術を理解している人が SEO を理解しているとは限りませんし、SEO を理解している人が技術を理解しているとは限りません。」 しかし、ウェブマスターにとっては、最も基本的な技術を知ることが必要です。高度な言語を知る必要はありませんが、基本的な検索エンジン プロトコルを知ることは必要です。ウェブマスターとコミュニケーションをとると、多くのウェブマスターが検索プロトコル、特にrobots.txtファイルを正しく理解できていないことがわかりました。北京パートタイムバーは、このプロトコルの奥深さがどこにあるのかをお伝えします。

robots.txt ファイルは、ウェブサイトのルート ディレクトリにあるプレーン テキスト ファイルです。これは、ウェブサイトをインデックスするときにスパイダーが最初に読み取るファイルです。これは、ウェブサイト上のスパイダーのクロール範囲を指定するために使用されます。スパイダーによるクロールが不要なコンテンツがウェブサイトにある場合は、robots.txt ファイルを使用してシールドを追加し、ウェブサイト スパイダーのクロールの難易度が上がるのを防ぐことができます。しかし、この魔法のファイルは、Web サイトをより適切に最適化するのに役立ちますが、一部の Web マスターが失敗する原因にもなります。

まず、ファイル形式が正しく記述されている必要があります。このファイルは robots.txt という名前で、ウェブサイトのルート ディレクトリに配置し、http://www.jianzhi8.com/robots.txt からアクセスできる必要があります。このようにして、スパイダーがウェブサイトをインデックスするときに、最初にこのファイルをクロールし、次にこのファイルのインデックスに基づいてウェブサイトの他の場所をインデックスします。 robots ファイルを正しく記述するには、ホームページがファイルの基本的な機能を理解する必要があります。

User-agent: 最後に * を追加すると、どの検索エンジンでも Web サイトのクロールが許可されます。User-agent: Baiduspider は、Baidu 検索エンジンが Web サイトのクロールを許可されていることを意味します。Web サイトにこの属性のみが記述されている場合、この Web サイトは Baidu スパイダーによるクロールのみ受け入れ、他のスパイダーはインデックスを作成できないことを意味します。

Disallow: この機能は、静的スパイダーアクセス機能の背後にあるウェブサイトディレクトリが許可されていることを意味します。ウェブサイトのすべてのコンテンツが許可されている場合は、次のように記述します。すべてを含めることを許可する場合は、次のように記述します。Disallow:。Taobao ドキュメントに記載されているように、Baidu スパイダーはクロール禁止であり、ウェブサイトのどこでもクロールは許可されていません。

ユーザーエージェント: Baiduspider

許可しない: /

Disallow 関数の / の違いは、Web サイトに大きな影響を与えます。すべての Web マスターは、robots ファイルを正しく記述することを学ぶ必要があります。少なくとも、上記の関数は明確にする必要があります。次の例を見てみましょう。

ユーザーエージェント: *

許可しない: / ウェブサイト上のどのディレクトリのクロールも許可しない

許可: / クロールを許可する

上記のロボット ファイルの記述には重大なエラーがあります。署名には、スパイダーが Web サイトのどのディレクトリもクロールできないと記載されていますが、その背後には、すべての検索エンジンが Web サイトのページをクロールできると記載されています。このようなロボット ファイル形式の場合、スパイダーのデータベースが更新されると、Web サイトの包含は 0 になります。これは、Web サイトの最適化方法にエラーがあるためでも、Web サイトが不正な方法を使用しているためでもなく、Web マスターが誤ってロボット ファイルに陥ったためであり、大きな損失です。

ロボット ファイルを適切に使用すると、Web サイトのインデックス作成が向上しますが、誤った記述は重大な損失につながる可能性があります。ロボット ファイルを使用して最適化を改善する方法について、ウェブマスター向けのヒントをいくつか紹介します。

1. 重複インクルードを減らす。ウェブサイトのインクルードをチェックすると、スパイダーがウェブサイトのコンテンツを繰り返しインクルードしていることがわかります。スパイダーは .Html だけでなく、*?* を含む動的ページもインクルードできます。この場合、ロボット ファイルを使用して重複インクルードをブロックし、回避できます: Disallow: /*?*。

2. .htm で始まる URL へのアクセスのみを許可します。プログラムの問題により、Web サイトには内部ページにアクセスするためのパスが複数存在する場合があります。ただし、スパイダーが .htm で始まる URL のみをクロールできるようにするには、ファイル内で「$」を使用して URL へのアクセスを制限し、Allow: /*.htm$、Disallow: / とすることで、接尾辞が「.htm」の URL へのアクセスのみを許可できます。

3. ユーザーエクスペリエンスを向上させるために、一部のウェブサイトでは、ウェブサイトに大量の動的な画像を追加しますが、これらの画像はスパイダーによってクロールされにくく、ウェブサイトの最適化にとってあまり意味がありません。このとき、ファイルに関数「Disallow: /*.gif$」を追加して、スパイダーによる .gif 形式の画像のクロールを禁止することができます。

ロボット ファイルの開発は 10 年以上続いており、多くの検索エンジンがこれらのファイルを認識しています。ファイルを正しく使用することで、ウェブマスターは Web サイトをより最適化できます。これらの検索プロトコルは、実際には技術的なものではありません。初心者のウェブマスターでもベテランのウェブマスターでも、これらの基本的なことは知っておく必要があります。そうでないと、不適切な使用によって大きな影響が生じます。北京パートタイムジョブ（http://bj.jianzhi8.com）は、ウェブマスターが不当な非難を避けるために空き時間にいくつかのスキルを学べることを願っています。

元のタイトル: ウェブマスターは robots.txt ファイルに陥らないように検索プロトコルを注意深く理解する必要があります

キーワード: ウェブマスター、知っている人、検索、プロトコル、注意、落下、robots.txt、ウェブサイト、ウェブサイトのプロモーション、お金を稼ぐ