実践分析: ロボットファイルを変更した後、Baidu と Google がウェブサイトにどのように反応するか

私は長年ウェブサイトを運営しており、ウェブマスターが遭遇する可能性のあるあらゆる問題に遭遇してきました。最も一般的な問題は、ウェブサイトがダウングレードされる、ウェブサイトのスナップショットが更新されない、ウェブサイトの主なキーワードランキングが下がる、外部リンクの数が減るなどです。これらの問題は、多くの場合、最初の準備作業が整わないままウェブサイトがオンラインになった結果であり、その結果、ウェブサイトのセクションが後で置き換えられたり、スパイダーが頻繁にクロールする他のファイルが頻繁に変更されたりします。今日、編集者は、ウェブサイトのロボット ファイルを変更することの影響と、いくつかの検索エンジンの反応についてお話しします。

百度とグーグルがロボットファイルを初めて修正した後に反応

スナップショットが更新され、4 日周期であることがわかりました。トラフィックは毎日膨大でしたが、ユーザーはすべてブロックした /user/ ファイル内にいたため、スパイダーはクロールできませんでした。トラフィックが最も多かったのはユーザー センターだったので、スパイダーがそのファイルにアクセスできるように robots ファイルを変更してみました。 過去に Google は 12 万件の項目をインデックスしていました。robots.txt ファイルを変更したときのことをはっきり覚えています。Google はすでに 12 万件以上の項目をインデックスしていました。翌日も、Google は 1 日あたり 1,000 件以上のペースでクロールを続けました。Baidu を見ても、問題はありませんでした。しかし残念なことに、何かが起こりました...スナップショットが更新された後、site:ドメインを再度確認したところ、Googleは60,000（元々120,000以上）をインデックスしていました。Baiduもスナップショット更新後に35,600から49,000に変更されました。その時の修正は、グループ購入をブロックするページ（と呼ばれるもの）にrobotsファイルを書き込むというものでした。その時は、Googleのインデックスが急激に減少し、Baiduのインデックスが急激に増加した原因がわからないと感じていましたが、テストを続けた後、致命的な理由がわかりました...

ロボットファイルを2回変更したことでスパイダーが怒り、Googleはサイトを直接禁止した。

当初、ウェブサイトは長い間開設されておらず、私はいつもあれこれ修正するのが好きでした。ホームページを移動させたことさえありました。私のウェブサイトのセキュリティロボットも、私が非常に豊かに「装飾」しました。事件は年末に起こりました。ロボットファイルは、BaiduとGoogle Soso以外のスパイダーをブロックしました（当時のSogouの不正クローラーはウェブサイトのトラフィックが不十分でした）。修正後3日目に、ずっと減少していたGoogleに含まれるTaobao Guangdongサイトの数は、その日の6万以上から1,200に減少しました。それを見て私はがっかりしました。これまで、Googleはウェブサイトをクロールすることはほとんどなく、含まれるアイテムの数も1,000前後で推移していました。

編集者には、ロボット ファイルの変更により数秒で収集されたブログ サイトもあります。Google はサイトを直接 K しました。当時、サイトはロボット ファイルを頻繁に変更しすぎたため、逆効果になりました。Baidu も 1 週間スナップショットを更新しませんでした。スパイダーはロボット ファイルに非常に敏感です。これは、新しいサイトが触れてはならない最適化の地雷原です。

ロボットファイルは、後からの変更を防ぐために、ウェブサイト構築の開始時に完全に設定する必要があります。

ロボットの後期修正は、主要な検索エンジン、特に Google にとって不親切なパフォーマンスです。エンジンが人間化されるにつれて、検索エンジンにも「気質」があります。ウェブサイトに習慣が形成されると、ウェブサイトに少し変更を加えるだけで、ロボットの修正と同様に検索エンジンに嫌悪感を抱かせる可能性があります。ロボットの修正は、コンテンツの包含に影響を与えるだけでなく、ウェブサイトの重みにも無視できない影響を与えます。ロボットを変更すると、Web サイトのスナップショットが更新されなくなり、含まれるアイテムの数や外部リンクの数が減少し、Web サイトの主なキーワードがドロップされ、上位 100 位以内のキーワードランキングさえも見つからなくなります。

スパイダーがサイトにアクセスすると、まずサイトのルート ディレクトリにある robots ファイルを確認します。スパイダーの時間も限られています。Google などの世界的な検索エンジン企業は、Web コンテンツをクロールするために毎日何千ものサイトにアクセスする必要があります。robots ファイルを頻繁に変更することは、Web サイトとスパイダー間の契約を変更することを意味します。Web サイトの安全のため、一般的なスパイダーは robots プロトコルに従い、設定したルールに従って許可された Web ファイルとコンテンツをクロールします。

数か月の実践経験を経て、私はウェブサイト構築の初期段階で robots ファイルを準備することを提案します。検索エンジンからのトラフィックを気にしない限り、ウェブサイトのコンテンツが多くなったり、ウェブサイトの重量が増加したりしても、それを変更しないでください。

元の記事は、Kaidianshengqian.com の Ye Weiqing 氏によるものです。http://www.yeweiqing.com/ この記事の著作権は Ye Weiqing @ Kaidianshengqian.com に帰属します。転載は自由です。転載の際は、著者と出典を明記してください。ありがとう

元のタイトル: 実践分析: ロボット ファイルを変更した後、Baidu と Google が Web サイトにどのように反応するか

キーワード: 実際の戦闘ポイント、変更、ロボット、ファイル Baidu、ウェブサイト、反応、ウェブサイト構築、ウェブマスター、ウェブサイトのプロモーション、金儲け