2008年にタオバオがロボットプロトコルを使って百度のスパイダーをブロックしたという騒動は、その事件を経験した人にとっては記憶に新しいことだろう。タオバオは、一部の悪徳業者が百度の入札ランキングや検索エンジン最適化を通じて消費者を騙すという理由で、容赦なく百度の検索エンジンを拒否し、その方法はロボットプロトコルを使って百度をブロックすることだった。下の図の通りです。 Taobao が Baidu スパイダーのインデックス作成とサイト全体のロボットへの組み込みを拒否したことがわかります。事件から約4年が経ちました。本当にBaiduがTaobaoのページをクロールできない結果になったのでしょうか?実はBaiduはロボットプロトコルに従わず、Taobaoの一部のページをクロールしていました。下の図の通りです。 上の写真から、多くの Taobao ページがまだ Baidu によってクロールされていることがわかります。なぜ百度はロボットプロトコルに従わず、タオバオページのクロールにこだわるのでしょうか。著者は、これは戦略的な方向性の問題だと考えています。タオバオは現在、国内インターネット最大の電子商取引プラットフォームであり、重要な役割を果たしていることは誰もが知っています。さらに調査を続けると、Han Du Yishe などの Taobao の有名店が Baidu でも良いランキングを獲得していることがわかりました。これは百度が淘宝網に注目していることを証明している点に注目してください。同時に、最近Tmallに名前を変更したTaobaoも、下の図に示すように、Baiduをブロックしていることが分かりました。 結果は同じで、Tmall は引き続きクロールされます。 この結果のもう一つの理由は、Tmall の重みが高すぎるため、Baidu がインデックスをクロールするという合意に違反したためである可能性があります。 契約を遵守していない別のウェブサイトはYitao.comです。電子商取引サイトの情報に注意を払っている人は、JD.com、Newegg.comなどもロボットを通じてYitao.comをブロックしていることを知っておく必要があります(下図参照)。しかし、これらのサイトの関連ページはまだ Yitao で見つけることができます。 筆者は、国内のインターネットは依然として比較的混沌とした状態にあり、多くの企業が関連協定を遵守していないと考えています。これは我々の反省に値することです。筆者は、インターネットの巨人として、自ら出発し、インターネット業界の模範となるべきだと考えています。この記事は深圳ウェブサイト建設 http://www.zijiren.net によって編集されました。転載の際は出典を明記してください。 原題:ロボットによるブロックに関する百度と淘宝網の事件の図解 キーワード: 図、Baidu、Taobao、ロボット、ブロック、2008、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化 |
<<: ウェブサイトのスナップショットに影響を与えるいくつかの主要な要因
HostingInside では、1G メモリ搭載の XEN PV VPS の特別プロモーションを実...
ジャック・マー氏が繰り返し強調してきた新小売であれ、馬化騰氏が提唱する産業インターネットであれ、イン...
北京の新華社が26日伝えたところによると、記者が国家インターネット情報局から得た情報によると、4月下...
[51CTO.com からのオリジナル記事] 豊かな土地であり、古代蜀文明発祥の地である成都は、古今...
半年近くブログを更新していませんが、理由の一つは忙しいから、もう一つは怠けているからです。仕事以外に...
ウェブサイトのキーワードランキングにとって外部リンクが重要であることは誰もが知っていますが、ではどう...
映画市場には奇妙な現象がある。「大ヒット作」がまだ公開されていないにもかかわらず、大手映画レビューサ...
HeroicVPS は Phoenix VPS をリリースしたばかりですが、今度はバージニア州の A...
プロのSEO担当者として、最適化の初期段階では、現状分析や同業他社の分析など、綿密なデータ分析レポー...
[[249931]]ケビン・ケリー氏は、Wired誌の創刊編集者であり、有名なベストセラー作家、テク...
1. エッジコンピューティングが業界のデジタル変革をリード現在、デジタルトランスフォーメーションは、...
AWS、Google Cloud、Microsoft Azure などのパブリック クラウド サービ...
2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っていますインターネ...
新しいサーバーの準備が遅れたため、hostdare の毎年恒例の CyberMonday プロモ...
20年以上の歴史を持つアメリカの老舗データセンターであるiwebfusionには、複数のデータセンタ...