51.com の robots.txt に何か問題がありますか?

robots.txt ファイルとは何ですか?

検索エンジンは、ロボット (スパイダーとも呼ばれる) と呼ばれるプログラムを使用して、インターネット上の Web ページに自動的にアクセスし、Web ページ情報を取得します。
ウェブサイトにプレーンテキスト ファイル robots.txt を作成し、このファイルでロボットによるアクセスを禁止するウェブサイトの部分を宣言することができます。これにより、ウェブサイトのコンテンツの一部または全部が検索エンジンに含まれないようにしたり、検索エンジンが特定のコンテンツのみを含むように指定したりできます。

なぜなら、私は、セカンダリコーンとサイトスパムの氾濫により 51 がブロックされたと書いたばかりで、"Cobra" が、それは 51 の robots.txt のせいだと書いているのを見たからです。

51 の robots.txt を注意深く読み、最終的に「コブラ」の判断と結論に反論したいと思います。

すべてのサイトに robots.txt が必要ですか?

必ずしもそうではありません。状況によります。

では、robots.txt はどの検索エンジンでも使用できるのでしょうか?

必ずしもそうではありません。まず検索エンジンの概念を理解する必要があります。少なくともスパイダーは存在し、robots.txt 構文に従っています。 Baidu、Google、Yahooなどはすべて公式robots.txtに従っている。

robots.txt をどこに配置すればよいですか?

ルート ディレクトリでは、http://www.abc.com/robots.txt やその他のブラウザーを参照してアクセスします。

robots.txt の書き方は？

参照: http://www.robotstxt.org/

コブラは、バイドゥが51を殺したのは51のrobots.txtのせいだと言ったからだ

「51.com 検索が消えた理由は、同社がこの機会を利用して宣伝しようとしたからでしょうか？」

（百度がメーデー前後に大規模な検査を実施し、不正サイトを禁止したため、業界では51.comも百度が処罰したサイトの一つだと考え始めた。
友人が 51.com の robots.txt ファイルを紹介してくれたので、Baidu が 1 ページだけをインデックスした理由がわかりました。
これは検索エンジンが原因ではなく、51.com 自体が原因です。 ）

残念なことに、メーデーが「建国記念日」になってしまいました。

フラストレーション 2: robots.txt の記述はルールに従っており、検索エンジンもそれに従います。そうすると、上記記事のコブラの判断は間違っていることになります！ 51 の robots.txt エラーではありません!

分析的反論:

51のホームページはホームまたはこのセカンダリコーンの下にあるので、これについて話しましょう！

1: http://www.51.com/robots.txt 18行目

Disallow: /home/ (Google は 51 に対して何もしていないため、これは Baidu のみに当てはまると想定しています。また、robots.txt に従う同じ検索エンジンでない限り、後続の分析では Google の現象の一部が Baidu に適用されます。)

Baidu の定義:

「Disallow:/help/」はロボットが /help.html にアクセスすることを許可するが、/help/index.html にはアクセスできないようにします。

http://www.baidu.com/search/robots.html

つまり、ホーム ディレクトリにホームページがないため、http://www.51.com/home/index.htm/index.html/index.shtml を含めることはできません。

http://www.51.com/home/index.htm 404 エラー
http://www.51.com/home/index.html 404 エラー
http://www.51.com/home/index.shtml 404 エラー
http://www.51.com/home/index.php 404 エラー
http://www.51.com/home/ 404 エラー

元のタイトル: 51.com の robots.txt に何か問題がありますか?

キーワード: