Googleランキング検索エンジン技術とP2Pの第3世代

第 2 世代の Google 検索エンジンは、検索速度と複数言語での情報拡張の点で第 1 世代に比べていくつかの改善が図られていますが、クエリ言語として自然言語を使用するという点でもいくつかの検討が行われています。しかし、インターネットの急速な発展に伴い、インターネット上の膨大なデジタル情報と人々が必要な情報を入手する能力との間の矛盾がますます顕著になってきました。 IDC が 2001 年後半に発表したレポートによると、以前は「使いやすく、豊富な検索結果を提供する」と広く宣伝されていた Google 検索エンジン技術は、ほとんどの検索システムのパフォーマンスがユーザーの期待に遠く及ばないため、より集中した情報を持つローカル エリア ネットワークに置き換えられつつあります。データ量が急増しているビデオやオーディオなどのマルチメディア情報の検索は、依然として克服できない問題です。

一般的な検索エンジンは、HTML 形式でのみ検索できます。主な理由は、検索エンジンの自動ソート ソフトウェアである Spiders プログラムが、この形式の Web ページしか受け入れることができないためです。つまり、会社のイントラネット上で HTML 形式でフォーマットされていない情報は、外部の検索エンジンでは見つかりません。このため、PPT、Word、PDF、電子メールなどのファイルや、ERP、CRM などのアプリケーション ソフトウェアのデータベース内の情報は、長い間、情報の海に「沈んで」しまうことになります。

これらの問題をどのように解決するかが、第 3 世代検索エンジンの探求方向となっています。優れた検索エンジンは、データベースのサイズ、更新頻度、検索速度、多言語対応などだけで評価されるものではなくなりました。データベース容量が拡大し続ける中、いかにして巨大なデータベースから正確な情報を探し出すかが、次世代の検索技術の競争ポイントとして認識されています。例えば、ある検索エンジンで「旅行」という単語を検索すると、100万件以上の情報が返されます。人がWebページを3秒間見るとして、たとえページ全体の10%しか見なかったとしても、止まることなく読み続けるには10時間以上かかります。

幸いなことに、Google の検索エンジン技術は急速に発展しています。インテリジェントでパーソナライズされた機能を備えた新しいエンジンは、これまでの検索エンジンとは大きく異なります。インテリジェント検索は、検索コンテンツの関連性を自動的に学習することで、検索結果の精度を向上させることができます。しかし、現時点では真の意味でインテリジェンスを実現する実現可能な方法は存在せず、検索結果の最初の 2 ～ 3 ページに必要な情報を表示することは困難です。

注目を集めているもう一つの検索技術は、P2P 技術を Web ページ検索に適用することです。すべてのファイル、ディレクトリ、さらにはハードディスク全体をハードディスク上で共有することで、ユーザーは Web サーバーを経由せずに検索でき、情報ドキュメントの形式に制限されることもありません。そのため、従来のディレクトリベースの検索エンジンでは実現できない深さを実現できます (従来のエンジンでは、ネットワーク リソースの 20% ～ 30% しか利用できません)。米国の新興検索エンジン設計会社である i5 Digital は、2 年前にピアツーピア検索の概念に基づいた商用検索エンジン Pandango (www.pandango.com) を正式にリリースしました。しかし、これがまだ主流の検索エンジンのラインナップに入っていないという事実は、P2P 検索が現時点では未来の技術としか言えないことを示しています。

「私が初めて P2P 検索の概念について聞いたのは、1997 年後半に Infoseek でのことだった。当時、Infoseek の誰かがすでに Google のランキング検索技術を提案し、検討を始めていた」と Robin Li 氏は語る。「各 Web サイトには独自の小さな検索エンジンがあり、誰もが互いに通信できる。このエンジンで結果が見つからない場合は、他のエンジンを使って検索できる。それが概念だ。しかし、今のところ、実用化にはほど遠い。主な理由は、速度という重要な指標に反するからだ。小さく、独立して相互接続されたエンジンが多数あるため、その速度は集中管理された検索エンジンよりも間違いなく遅くなる。」

商業的な応用と学術研究の間には常に一定の距離がありますが、これはビジネス界、特にこの分野ですでにピラミッドの頂点に立っている Google のような企業がテクノロジーの追求を重視していないことを意味するものではありません。 Google には、50 人のコンピューター サイエンスの博士号取得者が開発している 100 を超える将来のプロジェクトのオープン データベースがあります。 2002 年 6 月、Google はインターネット検索の分野における最新の研究技術を紹介する特別な「ラボ」を設立し、それをインターネット (labs.Google.com) で公開して一般公開し、広範なユーザー フィードバックを収集しました。ラボで実証されたプロジェクトには、キーボード検索、音声検索などがあります。

これらのいわゆる実験的なプロジェクトは、検索エンジン技術が大きな概念的変化を遂げることを示しているようには見えないと考える人もいるかもしれません。実際、検索エンジン技術は 8 年以上にわたって徐々に発展してきました。 「検索エンジンは、ある一面が優れているだけでは一般大衆に受け入れられません。成功するには、すべての面で優れている必要があります」とロビン・リー氏は言う。「現在、検索は人々のニーズを完全に満たすことができません。ニーズが多様すぎて、一つ一つ満たすのが難しいからです。」これは、現在主流の検索エンジンが細部に重点を置く理由でもあります。

原題: Google ランキング検索エンジン技術と P2P の第 3 世代

キーワード: GOOGLE