ロボットによるブロックに関する百度と淘宝網間の問題の図解

ロボットによるブロックに関する百度と淘宝網間の問題の図解

2008年にタオバオがロボットプロトコルを使って百度のスパイダーをブロックしたという騒動は、その事件を経験した人にとっては記憶に新しいことだろう。タオバオは、一部の悪徳業者が百度の入札ランキングや検索エンジン最適化を通じて消費者を騙すという理由で、容赦なく百度の検索エンジンを拒否し、その方法はロボットプロトコルを使って百度をブロックすることだった。下の図の通りです。

Taobao が Baidu スパイダーのインデックス作成とサイト全体のロボットへの組み込みを拒否したことがわかります。事件から約4年が経ちました。本当にBaiduがTaobaoのページをクロールできない結果になったのでしょうか?実はBaiduはロボットプロトコルに従わず、Taobaoの一部のページをクロールしていました。下の図の通りです。

上の写真から、多くの Taobao ページがまだ Baidu によってクロールされていることがわかります。なぜ百度はロボットプロトコルに従わず、タオバオページのクロールにこだわるのでしょうか。著者は、これは戦略的な方向性の問題だと考えています。タオバオは現在、国内インターネット最大の電子商取引プラットフォームであり、重要な役割を果たしていることは誰もが知っています。さらに調査を続けると、Han Du Yishe などの Taobao の有名店が Baidu でも良いランキングを獲得していることがわかりました。これは百度が淘宝網に注目していることを証明している点に注目してください。同時に、最近Tmallに名前を変更したTaobaoも、下の図に示すように、Baiduをブロックしていることが分かりました。

結果は同じで、Tmall は引き続きクロールされます。

この結果のもう一つの理由は、Tmall の重みが高すぎるため、Baidu がインデックスをクロールするという合意に違反したためである可能性があります。

契約を遵守していない別のウェブサイトはYitao.comです。電子商取引サイトの情報に注意を払っている人は、JD.com、Newegg.comなどもロボットを通じてYitao.comをブロックしていることを知っておく必要があります(下図参照)。しかし、これらのサイトの関連ページはまだ Yitao で見つけることができます。

筆者は、国内のインターネットは依然として比較的混沌とした状態にあり、多くの企業が関連協定を遵守していないと考えています。これは我々の反省に値することです。筆者は、インターネットの巨人として、自ら出発し、インターネット業界の模範となるべきだと考えています。この記事は深圳ウェブサイト建設 http://www.zijiren.net によって編集されました。転載の際は出典を明記してください。

原題:ロボットによるブロックに関する百度と淘宝網の事件の図解

キーワード: 図、Baidu、Taobao、ロボット、ブロック、2008、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化

<<:  ウェブサイトのスナップショットに影響を与えるいくつかの主要な要因

>>:  外部リンクを素早く増やす5つの方法

推薦する

HostingInside - 1G メモリ XEN/40G ハードディスク/1T トラフィック/月額 9.95 ドル

HostingInside では、1G メモリ搭載の XEN PV VPS の特別プロモーションを実...

2018 年インターネット冬季復旧ガイド!

ジャック・マー氏が繰り返し強調してきた新小売であれ、馬化騰氏が提唱する産業インターネットであれ、イン...

中国サイバースペース管理局は、国民の個人情報保護のため、3種類の情報の整理に注力している。

北京の新華社が26日伝えたところによると、記者が国家インターネット情報局から得た情報によると、4月下...

ウェブ解析を行う際に必ず聞くべき10の質問(パート1):ウェブサイトの目標、戦略、ユーザーについて

半年近くブログを更新していませんが、理由の一つは忙しいから、もう一つは怠けているからです。仕事以外に...

新しいサイトの外部リンクを構築し、促進する方法の簡単な分析

ウェブサイトのキーワードランキングにとって外部リンクが重要であることは誰もが知っていますが、ではどう...

「ロスト・イン・タイランド」の興行収入10億ドルの奇跡と「1942」のワーテルローのマーケティング分析

映画市場には奇妙な現象がある。「大ヒット作」がまだ公開されていないにもかかわらず、大手映画レビューサ...

HeroicVPS 新規バージニアデータセンター KVM 30% オフ

HeroicVPS は Phoenix VPS をリリースしたばかりですが、今度はバージニア州の A...

Excelを使用して、ウェブマスターが分析する必要があるデータの5つの側面を要約します

プロのSEO担当者として、最適化の初期段階では、現状分析や同業他社の分析など、綿密なデータ分析レポー...

AR Cloud はインターネットビジネスの状況を一変させることができるでしょうか?

[[249931]]ケビン・ケリー氏は、Wired誌の創刊編集者であり、有名なベストセラー作家、テク...

エッジコンピューティングは業界のデジタル変革に貢献します

1. エッジコンピューティングが業界のデジタル変革をリード現在、デジタルトランスフォーメーションは、...

クラウド コンピューティングに切り替える理由は何ですか?

AWS、Google Cloud、Microsoft Azure などのパブリック クラウド サービ...

セルフサービス Web サイト構築に推奨される 5 つのオープン ソース システムをご存知ですか?

2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っていますインターネ...

#CM# hostdare: CN2 GIA VPS 生涯 30% 割引クーポン、Windows サポート

新しいサーバーの準備が遅れたため、hostdare の毎年恒例の Cyber​​Monday プロモ...

iwebfusionはどうですか?シャーロットデータセンターVPSレビュー

20年以上の歴史を持つアメリカの老舗データセンターであるiwebfusionには、複数のデータセンタ...