百度が淘宝網をクロール

「百度優遇」がリリースされる前、淘宝網は百度による悪意あるクローリングを避けるために、当時話題を呼んだrobots.txtプロトコルである百度スパイダーを直接ブロックしていたことは誰もが知っている。

今、Taobao の robots.txt プロトコルを開いても、Taobao が依然として Baidu のスパイダーをブロックしていることがわかります。しかし、これは本当にそうなのでしょうか? 下の写真をご覧ください。

結局、Taobao の robots.txt ファイルは Baidu スパイダーにはまったく影響を及ぼさないことが判明しました。百度がこのようなことをした理由は、戦略的な方向性を考慮したためだと推測します。検索してみると、漢度易社や暖貝爾などの有名店が百度で良いランキングを獲得していることがわかったからです。これは、Taobao のような店舗にとって Baidu がいかに重要であるかを証明するのに十分です。さらに驚くべきことは、Tmall（タオバオモール）も robots.txt プロトコルを使用していることです。 Baidu Spiderもブロックされている

百度も図のように必死に這い進む姿勢をとっている

もう1つの可能性は、TaobaoとTmallの重みが高すぎるため、Baiduのスパイダーが検索エンジンのプロトコルに従わずにクロールするということです。しかし、この種のことは、以前、検索エンジンのルールに従わなかったYitao.comによるJD.comとNeweggの製品データの悪意のあるクロールと関連している可能性があります。

現在までに、JD.comや他のショッピングモールもYitao.comのスパイダーをブロックしています。

編集者が言いたいのは、現在の検索エンジンは自らの利益のためにインターネット プロトコルのルールに従っていないということであり、これは反省する価値がある。私は、このような大手インターネット企業に、IT 業界全体に模範を示すよう呼びかける。自分の利己的な理由でゲームのルールを破らないでください。この記事は (www.591jiafa.com) によって寄稿されました。

原題: Baidu が Taobao をクロール

キーワード: Baidu、クロール、Taobao、その点、誰もが知っている、おそらく、オンライン、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、お金を稼ぐ