ロボットによるブロックに関する百度と淘宝網間の問題の図解

2008年にタオバオがロボットプロトコルを使って百度のスパイダーをブロックしたという騒動は、その事件を経験した人にとっては記憶に新しいことだろう。タオバオは、一部の悪徳業者が百度の入札ランキングや検索エンジン最適化を通じて消費者を騙すという理由で、容赦なく百度の検索エンジンを拒否し、その方法はロボットプロトコルを使って百度をブロックすることだった。下の図の通りです。

Taobao が Baidu スパイダーのインデックス作成とサイト全体のロボットへの組み込みを拒否したことがわかります。事件から約4年が経ちました。本当にBaiduがTaobaoのページをクロールできない結果になったのでしょうか？実はBaiduはロボットプロトコルに従わず、Taobaoの一部のページをクロールしていました。下の図の通りです。

上の写真から、多くの Taobao ページがまだ Baidu によってクロールされていることがわかります。なぜ百度はロボットプロトコルに従わず、タオバオページのクロールにこだわるのでしょうか。著者は、これは戦略的な方向性の問題だと考えています。タオバオは現在、国内インターネット最大の電子商取引プラットフォームであり、重要な役割を果たしていることは誰もが知っています。さらに調査を続けると、Han Du Yishe などの Taobao の有名店が Baidu でも良いランキングを獲得していることがわかりました。これは百度が淘宝網に注目していることを証明している点に注目してください。同時に、最近Tmallに名前を変更したTaobaoも、下の図に示すように、Baiduをブロックしていることが分かりました。

結果は同じで、Tmall は引き続きクロールされます。

この結果のもう一つの理由は、Tmall の重みが高すぎるため、Baidu がインデックスをクロールするという合意に違反したためである可能性があります。

契約を遵守していない別のウェブサイトはYitao.comです。電子商取引サイトの情報に注意を払っている人は、JD.com、Newegg.comなどもロボットを通じてYitao.comをブロックしていることを知っておく必要があります（下図参照）。しかし、これらのサイトの関連ページはまだ Yitao で見つけることができます。

筆者は、国内のインターネットは依然として比較的混沌とした状態にあり、多くの企業が関連協定を遵守していないと考えています。これは我々の反省に値することです。筆者は、インターネットの巨人として、自ら出発し、インターネット業界の模範となるべきだと考えています。この記事は深圳ウェブサイト建設 http://www.zijiren.net によって編集されました。転載の際は出典を明記してください。

原題：ロボットによるブロックに関する百度と淘宝網の事件の図解

キーワード: 図、Baidu、Taobao、ロボット、ブロック、2008、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化