Robots.txt が 15 日間インデックスをブロックした後のさまざまな検索エンジンのパフォーマンス

昨年10月に婦人服のサイトを作ったのですが、収益が芳しくなかったので、サイトを放棄してブログや日記を書いて、大手検索エンジンでのパフォーマンスを実験してみることにしました。この記事の主な目的は、娯楽目的で、主要な検索エンジンにおける物議を醸しているロボット プロトコルの重要性を調べることです。具体的な操作手順は以下のとおりです。改訂当日にrobots.txtに以下の文を追加します。

ユーザーエージェント: *

許可しない: /

この改訂では、プログラム (Asp 言語の zblog プログラム) は変更されず、テンプレートのセットが置き換えられただけです。ホームページ、カテゴリ、記事ページのレイアウトは大きく変わりました。いくつかの新しいカテゴリが作成され、サーバー上の静的な記事ディレクトリが削除されました。その後、15日間毎日オリジナル記事を1つずつ更新し続けました。サイトコマンドクエリを通じて各検索エンジンのパフォーマンスを以下のように取得しました。

1. Google検索エンジン

私が観察した情報の一部を以下に示します。

特に内部ページコレクションの変更が遅いです。コレクションは3,000以上あり、アイテムも1,600以上残っています。ホームページのアドレスは残っていますが、説明情報が表示されません。「このウェブサイトの robots.txt により、システムはこの結果について何の説明も提供しません。」というメッセージのみが表示されます。新しいコンテンツは含まれていません。

2. 百度検索エンジン

私が観察した情報の一部を以下に示します。

Baiduの対応も遅かった。元々 40 ページ含まれていましたが、現在は 10 ページしか残っていません。ホームページはなくなり、スナップショットもなくなりました。新しいコンテンツは含まれません。

3. 360度の総合検索

私が観察した情報の一部を以下に示します。

内部ページには変更はなく、コレクションは500ページ以上のままです。ホームページのスナップショットのみがタイムリーに更新され、スナップショットは1日おきに維持されます。新しいコンテンツは含まれていません。

4. ソゴウ検索

私が観察した情報の一部を以下に示します。

内部ページはすべて削除され、ホームページのみが残ります。スナップショットの更新が遅く、タイトルが更新されません。内部ページは含まれません。

5. ソソ検索

私が観察した情報の一部を以下に示します。

コレクションに大きな変更はなく、ホームページのスナップショットはタイムリーに更新され、少数の内部ページが含まれています。上記の情報に基づくと、各検索エンジンのパフォーマンスはかなり異なります。

GoogleとBaiduという2大巨頭はrobots.txtプロトコルに準拠しているものの、すでにインデックスされたコンテンツを削除するのはまだ比較的遅く、鈍いと言えるでしょう。ロボット プロトコルに従って、新しいコンテンツは含まれなくなります。 360 総合検索と soso 検索はロボット プロトコルを気にしません。古いコレクションは削除されず、スナップショットは引き続きタイムリーに更新され、新しいコンテンツが時々追加されます。 Sogou は強く反応し、内部ページを削除し、スナップショットを停止し、robots.txt プロトコルに最も準拠しているようです。ちょっと面白いですね。

この記事は[Youhuojie]からのオリジナルです。アドレス: http://www.yohojie.com/post/312.html。コミュニケーションへようこそ

元のタイトル: Robots.txt が 15 日間インデックスをブロックした後のさまざまな検索エンジンのパフォーマンス

キーワード: Robots.txt、ブロック、インデックス作成、15 日間、さまざまな検索、パフォーマンス、昨年、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化