Baidu ウェブマスター プラットフォーム: Baiduspider を識別して、Web サイトが正常にクロールされていることを確認する方法

A5 Webmaster Network (www.admin5.com) は4月24日、多くのウェブサイトが誤って Baiduspider をブロックし、ウェブサイトの掲載に影響が出ていると報告した。一部のウェブサイトでは、Baidu スパイダーが異常な動作をし、頻繁に訪問していると報告されています。最近、Baidu Webmaster Platform は、Baiduspider によるサイトのクロールには異常はないと述べ、Web マスターが Baiduspider を識別してホワイトリストに追加できるようにするためのチュートリアルを公開しました。

先週、Baidu Webmaster Platform は、あるウェブマスターから、Baiduspider の IP を誤ってブロックしてしまったため、Baiduspider のすべての IP を取得してホワイトリストに登録し、誤って再度ブロックされないようにする方法があるかどうかという助けを求める電話を受けました。 Baiduspider の IP プールは絶えず変化しており、完全な IP セットを提供することはできないことをすべてのウェブマスターにお知らせします。

さらに、一部のウェブマスターは、Baiduspider のアクセス頻度が高すぎてサーバーの容量を超えていると疑問を呈しています。しかし、Baidu Webmaster Platform は、Baiduspider によるサイトのクロールには異常がなく、スパイダーは偽物である可能性が高いことを発見しました。

では、ウェブマスターはどのようにして IP を使用して、このスパイダーが Baidu 検索エンジンからのものであるかどうかを判断できるのでしょうか?

この問題は、DNS 逆引き検索を使用することで解決できます。検証方法はプラットフォームによって異なります。例えば、Linux、Windows、OS の検証方法は次のとおりです。

1. Linux プラットフォームでは、host ip コマンドを使用して IP を逆にし、Baiduspider によってキャプチャされているかどうかを確認できます。 Baiduspider のホスト名は *.baidu.com または *.baidu.jp の形式です。 *.baidu.com または *.baidu.jp 以外のものはすべて偽装です。

2. Windows または IBM OS/2 プラットフォームでは、nslookup ip コマンドを使用して IP アドレスを逆にし、Baiduspider によってキャプチャされているかどうかを確認できます。コマンドプロセッサを開き、nslookup xxx.xxx.xxx.xxx (IP アドレス) と入力して IP を解決し、Baiduspider によってキャプチャされているかどうかを判断します。Baiduspider のホスト名は、*.baidu.com または *.baidu.jp の形式で命名されています。*.baidu.com または *.baidu.jp でない場合は、なりすましです。

3. Mac OS では、dig コマンドを使用して IP アドレスを逆にし、Baiduspider によってキャプチャされているかどうかを確認できます。コマンドプロセッサを開き、dig xxx.xxx.xxx.xxx (IP アドレス) と入力して IP を解析し、Baiduspider によってキャプチャされたかどうかを判断します。Baiduspider のホスト名は、*.baidu.com または *.baidu.jp の形式で命名されています。*.baidu.com または *.baidu.jp でない場合は、なりすましです。

原題: Baidu Webmaster Platform: ウェブサイトが正常にクロールされていることを確認するために Baiduspider を識別する方法

キーワード: Baiduspider、検索エンジン