Baiduスパイダーはクロールをサポートしていません

本日正午、Baidu Webmaster Community Platform は次のようにお知らせを更新しました。

親愛なるユーザーの皆様、親愛なるウェブマスターの皆様、こんにちは。

最近、クロール遅延の使用に関するお問い合わせをいくつかいただいています。現在、Baidu はウェブサイトの訪問頻度についてこの設定を参照しなくなり、つまりクロール遅延設定はサポートされなくなりました。Baidu スパイダーのウェブサイト訪問頻度を設定する場合は、Baidu Webmaster Platform のクロール圧力フィードバック ツールを使用することをお勧めします。まず、過去 1 か月間の Baidu のウェブサイトの毎日のクロール量トレンド チャートを照会します。Baidu の参考のために、毎日ウェブサイトを訪問する Baidu スパイダーのクロール圧力制限を調整して、Baidu スパイダーによるサイトへの過度のクロール圧力を回避し、ウェブサイトのサーバー負荷とクロール異常を引き起こすことができます。

Crawl-delay が何なのか知らない人が多いと思います。私はこのことについて最近知りました。検索してみると、Crawl-delay を中国語に翻訳すると、クローリング遅延を意味することがわかりました。では、Crawl-delay は何に使用されますか? どこで使用されますか? 調査した後、整理して皆さんと共有します。

クロール遅延の目的について話すとき、誰もがよく知っているロボット プロトコルについても言及する必要があります。Web サイトはロボット プロトコルを使用して、どのページをクロールできるか、どのページをクロールできないかを検索エンジンに伝えます。クロール遅延を使用すると、スパイダーのクロール要求頻度を低く設定できるため、サーバーへの負荷を軽減できます。クロール遅延のサイズは、サーバーが耐えられる負荷とロボットの数に応じて決定する必要があります。たとえば、Yahoo ロボットを 2 秒ごとに実行したい場合は、まずサーバーにアクセスしている Yahoo ロボットの数を確認する必要があります。Yahoo ロボットが 40 個ある場合、このパラメータは 2*40=80 に設定する必要があります。しかし、同じ期間に 40 台以上のクローラーがデータを収集すると、各クローラー間に 100 秒の間隔があっても、40 台のクローラーが次々にクロールし、最後のクローラーが終了すると最初のクローラーの間隔が空いてしまい、大きな負担がかかります。ただし、これは最も「理想的な」条件下でのみ発生する可能性があります。

次に、Crawl-delay の適用例を紹介します。

Crawl-delay の後の値 100 は、スパイダー プログラムに最小遅延を秒単位で伝えていることがわかります。クローラーの頻度がサーバーの負担になる場合は、この遅延を適切と思われる任意の数値に設定し、100 秒ごとに 1 回クロールすることができます。この設定は大規模なサイトのみを対象としており、小規模なサイトではほとんど使用されません。Crawl-delay を設定する主な理由は、スパイダー プログラムのクロール速度が速すぎると、サーバーに負担がかかり、通常の Web サイトの表示速度に影響するためです。

Baidu がクロール遅延設定をサポートしていないという特別な声明は、クロール遅延設定が今後役に立たなくなることを意味するものではありません。現在、このパラメータをサポートしている検索エンジンには、Slurp（YahooとAltaVistaのロボット）とMSNが使用するMicrosoftロボットがあります。Googlebotは「Crawl-delay」パラメータを使用しておらず、Baiduはまだ使用していません。したがって、逆に考えることができます。Baidu検索を主なプロモーション方法として、他の検索エンジンを補助的に使用する場合、Crawl-delayを設定すると、サーバーの状態が良くないときに他の検索エンジンのクロール頻度を減らすことができます。これにより、サーバーの負荷を合理的に軽減できるため、最適化に影響を与える要因の観点からも朗報です。

したがって、Baidu がどのように変化しても、目的は変わりません。Baidu を最適化しながら、いくつかのヒントを合理的に採用し、予想外の利益を得ることができるかもしれません。

この記事は南昌胃腸検査 http://www.86818330.com/ が独自に編集したものです。転載の際は出典アドレスを削除しないでください。

元のタイトル: Baidu スパイダーはクロールをサポートしていません

キーワード: Baidu スパイダー、サポートされていない、クロール、遅延、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化