インターネット検索エンジンの開発史の起源を辿る

検索エンジンの歴史

1990 年以前は、誰もインターネットで検索できませんでした。 すべての検索エンジンの祖先は Archie (Archie FAQ) であり、これは 1990 年にカナダのモントリオールにあるマギル大学の学生であった Alan Emtage、Peter Deutsch、Bill Wheelan によって発明されました。当時はまだ World Wide Web は登場していませんでしたが、インターネット上でのファイル転送は依然として頻繁に行われていました。大量のファイルがさまざまな FTP ホストに分散していたため、ファイルを検索するのは非常に不便でした。そこで、Alan Emtage らはファイル名でファイルを検索できるシステムの開発を思いつき、Archie が誕生しました。 Archie は、インターネット上の匿名 FTP サイトからファイルを自動的にインデックス化する最初のプログラムでしたが、まだ真の検索エンジンではありませんでした。 Archie は、FTP ファイル名の検索可能なリストです。ユーザーは検索するファイル名を正確に入力する必要があり、Archie はどの FTP アドレスからファイルをダウンロードできるかをユーザーに通知します。

Archie の人気に触発されて、ネバダ大学 (米国ネバダ州) のシステム コンピューティング サービスは、1993 年に Gopher (Gopher FAQ) 検索ツール Veronica (Veronica FAQ) を開発しました。 Jughead は、後期の Gopher 検索ツールの 1 つです。

「ロボット」という言葉はプログラマーにとって特別な意味を持っています。コンピュータ ロボットは、人間が達成できない速度でタスクを繰り返し実行できる自動化プログラムです。情報検索に特化したロボットプログラムは、インターネット上を蜘蛛のように巡回するため、検索エンジンのロボットプログラムはスパイダー（Spider FAQ）プログラムと呼ばれます。世界初のスパイダー プログラムは、MIT の Matthew Gray 氏の Worldwide Web Wanderer であり、インターネットの成長を追跡するために使用されました。当初はインターネット上のサーバーの数を数えるために使用されていましたが、後に URL をキャプチャするようにも開発されました。

Wanderer に対応して、Martijn Koster は 1993 年 10 月に ALIWEB (Martijn Koster が Aliweb の可用性を発表) を作成しました。これは Archie の HTTP バージョンに相当します。 ALIWEB はウェブ検索ロボットを使用しません。ウェブサイトの所有者が自分のウェブページを ALIWEB に含めたい場合は、後で誰もが知る Yahoo と同様に、各ウェブページの簡単なインデックス情報を自分で送信する必要があります。

インターネットの急速な発展により、新しく出現したすべての Web ページを取得することがますます困難になってきています。そのため、一部のプログラマーは Wanderer をベースにして、従来の Spider プログラムの動作原理にいくつかの改良を加えました。すべての Web ページには他の Web サイトへのリンクがある可能性があるため、1 つの Web サイトから開始してすべての Web ページ上のすべてのリンクをたどることで、インターネット全体を検索できるという考え方です。 1993 年末までに、この原理に基づいた検索エンジンが数多く登場し始めました。最も有名な 3 つは、スコットランドの JumpStation、コロラド大学の Oliver McBryan の The World Wide Web Worm (McBryan の World Wide Web Worm が初めて言及された)、および NASA の Repository-Based Software Engineering (RBSE) スパイダーです。 JumpStation と WWW Worm は、検索ツールがデータベース内で一致する情報を見つけた順序で検索結果をランク付けするだけなので、情報の関連性はまったくありません。 RBSE は、HTML ドキュメントのテキストをインデックスする最初の検索エンジンであり、検索結果のランキングにキーワードの一致度の概念を導入した最初の検索エンジンでもあります。

Excite の歴史は、1993 年 2 月にまで遡ります。当時、スタンフォード大学の学生 6 人が、インターネット上の大量の情報をより効率的に検索するために、単語の関係を分析するというアイデアを思いつきました。 1993 年半ばまでに、これは Architext プロジェクトとして完全に資金提供され、ウェブマスターが自分のサイトで使用できる検索ソフトウェアのバージョンもリリースされました。このバージョンは後に Excite for Web Servers と呼ばれました。 (注: Excite は後にコンセプト検索で有名になりました。2002 年 5 月、Infospace に買収された Excite は独自の検索エンジンを停止し、メタ検索エンジン Dogpile に切り替えました。Excite は現在 Ask Jeeves と提携しています。)

1994 年 1 月、検索および閲覧可能な最初の分類ディレクトリである EINet Galaxy (Tradewave Galaxy) がオンラインになりました。ウェブサイト検索に加えて、Gopher 検索と Telnet 検索もサポートします。

原題: インターネット検索エンジンの開発史の起源を辿る

キーワード: インターネット