Hong Bo氏：検索クロールはルールを遵守する必要があります。合意に違反すると混乱が生じます。

最近、Qihoo 360総合検索が国際的に認められているロバーツ議定書を無視し、BaiduやGoogleなどの検索エンジンからコンテンツをクロールし、多くのウェブサイトがセキュリティとプライバシー上の理由から検索エンジンによるクロールを許可していない内部ネットワーク情報を漏洩したことが明らかになったことに関して、上級インターネットオブザーバーのHong Bo氏は、検索を行う際には、検索業界で認められたゲームのルールを遵守しなければならないと指摘した。ルールを無視し、故意に違反することは、本当の不正競争である。この行為が法律と政府の監督によって適時に阻止されなければ、業界に混乱を引き起こすだろう。

検索エンジンの原理は、インターネット上の Web ページを自動的に収集し、クローラー スパイダー プログラムを通じて関連情報を取得することです。ネットワーク セキュリティとプライバシーを考慮して、各 Web サイトは独自のロボット プロトコルを設定し、検索エンジンにどのコンテンツが検索エンジンに含まれることを希望し許可されているか、またどのコンテンツが許可されていないかを明確に示します。検索エンジンは、Robots プロトコルによって付与された権限に従ってクロールします。ロボット プロトコルは、すべての検索エンジンが準拠しなければならない国際的な慣行となっています。これは普通の人が他人の家に行くのと同じです。まずドアをノックして許可を得てからリビングに入る必要があります。所有者からの許可と招待がない限り、許可なく内部の部屋に入ったり、他人の家の周囲を歩き回ったりすることはできません。

そのため、2週間前に新たに開始された360度総合検索がロボットプロトコルを無視し、不正な情報データを直接取得したとき、その実践は業界関係者から広く疑問視されました。

Baidu サイトの Robots プロトコルでは 360 検索クローラーのクロールを許可していないと認識されていますが、360 検索はこの設定を無視して許可なくクロールを実行します。多くのコンテンツ ソース Web サイトが検索エンジンによる Web ページのクロールを禁止していることを考慮すると、そのほとんどはバックグラウンド データベース、ユーザーのプライバシー、パスワード、およびサーバー上に保存されているその他の情報に関係しています。つまり、360 がコンテンツ ソース ウェブサイトの robots.txt プロトコルの設定を無視すると、サーバー上に保存されている検索されるべきではない個人情報が検索され、検索結果に直接表示されることになります。

ロボットプロトコル違反の疑いについては、事実が判明したため、周洪一氏はもはや否定できないとしたが、百度がロボットプロトコルで360クローラーを禁止したことは不当競争だとも反論した。これに対して洪波氏は、ロボットプロトコルはウェブサイトに検索クローラーを禁止する権利を与えるものであり、不正競争とは全く関係がないと述べた。 360 が業界のデフォルト ルールを無視していることが、真の不公平な競争です。

「検索を行う際は、検索業界で一般的に認められているゲームのルールを遵守する必要があります。ルールを無視し、勝手に違反することが、本当の不公平な競争です。」 洪波氏の見解では、百度はQ&A、知道、鉄馬のコンテンツをクロールするすべてのクローラーを禁止しているわけではない。百度が禁止しているのは、潜在的なセキュリティリスクをもたらす、手に負えないクローラーだけだ。これは、市場秩序とユーザーのプライバシーを保護するための合理的な措置だ。同氏は、タオバオも2008年にバイドゥのクローラーを禁止したが、バイドゥはロボットプロトコルを厳格に遵守し、タオバオのコンテンツのクロールをやめ、タオバオの不正競争をロボットプロトコル違反の口実にしなかったと指摘した。

360 は、常に革新的な検索方法を採用していると自慢してきた。洪波氏は、その見解を一文で述べた。「ゲームの基本的なルールさえ守らない検索エンジンが、どうして自らを『革新的』と称することができるのか。周洪一氏の辞書では、ルールを無視することが革新に等しいのかもしれない」。洪波氏は、このような行為が法律や政府の監督によって適時に阻止されなければ、360 は今日百度のコンテンツを違法にクロールし、明日は人人からプライバシーを多く含むコミュニティ情報を無断でクロールするかもしれないと述べた。他のウェブサイトや検索エンジンもこれに追随するかもしれない。JD.com によってブロックされた Yitao も、競合他社の製品情報をクロールする可能性がある。同様に、インターネット業界全体が混乱に陥るでしょう。

原題: Hong Bo: 検索クロールはルールを遵守する必要があります。合意に違反すると混乱が生じます。

キーワード: Hongbo、検索、クロール、遵守すべき、規則を遵守する、違反する、合意、Zhida、Riqi、36、ウェブマスター、ウェブサイト、ウェブサイトの宣伝、お金を稼ぐ