Wendao Software Studio が開発したいくつかのソフトウェアの技術と検索エンジンの間には多くの重複があります。たとえば、まもなくリリースされる projSpider.com は、実際には単純な垂直検索エンジンです。また、複数のプロジェクトで使用している Web クローラー モジュールも、検索エンジン技術の重要な部分です。 Wendao Software Studio のエンジニアは誰も大規模な検索エンジンの開発に参加したことはありませんでしたが、全員が非常に興味を持っていました。この記事では、いくつかの類似プロジェクトの経験と公開情報に基づいて、検索エンジン関連のテクノロジについて簡単に説明します。 1. スパイダー - データソース 検索エンジンの膨大なデータのソースとして、クローラーは検索エンジン技術の重要な部分です。Wendao Software Studio は独自のクローラーを持っているため、この技術に非常に精通しています。 クローラーの英語はSpiderです。実際、スパイダーと翻訳すると理解しやすくなります。無数のWebサイトのリンクが巨大なWebを形成しています。検索エンジンのコンテンツ収集プログラムは、このWebを這う勤勉なクモのようなものです。興味のあるノードに遭遇するたびに、他のプログラムが処理できるように記録します。 クローラーの実装は実際には難しくありません。著者は C++ を使用して約 500 行のコードでクローラーのプロトタイプを開発しましたが、Python を使用すると 100 行未満しかかかりません。 ただし、膨大な量のデータを処理するプログラムは、開発の難易度とサイクルが非常に高くなります。簡単な例を挙げると、リンクがクロールされたかどうかを判断することは、クローラーがリンクを分析するたびに行う必要がある判断です。現時点でメモリ内に数千または数万のリンクしかない場合、それらを 1 つずつトラバースして比較するだけでも、基本的に要件を満たすことができます。しかし、数十万、数百万、数千万、数億のレベルの場合はどうでしょうか。赤黒木などのアルゴリズムでは、ほとんど対応できません。数十億、数百億、数千億、数兆のレベルの場合はどうでしょうか。インデックスを作成することしかできません。 百度の技術委員会委員長である陳尚益氏は、「百度は毎日約100PBのデータを処理している。1PBは100万Gに相当し、これは国立図書館5,000館の総情報量に相当する」と明らかにした。 こうした膨大なデータは百度の技術力の高さを物語っています。 検索エンジンに加えて、クローラー技術は実際には多くのシナリオに適用されています。新たな世論分析システムやデータマイニングシステムなど。 現在、データの重要性を認識する企業が増えています。重要なデータソースとして、クローラーは今後さらに多くの分野で利用されるようになるでしょう。 2. 中国語の単語分割 - データ前処理 中国語の単語分割も検索エンジンの重要な技術です。単語分割の精度は、クエリ構造が検索者の検索意図を満たしているかどうかに直接関係しています。 英語には自然な区切り文字があり、各単語には 1 つの意味があるため、中国語の単語分割は英語の単語分割よりもはるかに困難です。たとえば、「WenDao Software Studio」は、スペースに基づいて「WenDao」、「Software」、「Studio」の 3 つの単語に簡単に分割できます。対応する中国語の「Wendao Software Studio」については、「Wendao Software Workroom」、「Wendao Software Workroom」、「Wendao Software Studio」など、さまざまな分け方があります。 中国語の単語分割は、徹底的な研究を必要とする分野です。もちろん、開発者の作業を大幅に簡素化する、比較的優れた中国語の単語ライブラリもいくつかあります。 3. 全文検索 - データ前処理 インデックスの作成は、大量のデータをクエリするときに不可欠な重要な方法です。インデックス化されたデータの場合、膨大なデータから同じデータを非常に短時間で検索できます。 分かりやすくするために、索引は本の目次のようなものだと考えてください。目次があれば、ページを1ページずつめくる手間をかけずに、より短時間で興味のあるコンテンツをすばやく見つけることができます。 全文検索は中国語の単語を分割した後にのみ完了します。記事の内容から検索するという目的を達成するには、記事をキーワードに分割し、個別にインデックスを作成する必要があります。 4. ソート - データの前処理 ソートは検索エンジンの非常に重要な部分です。不適切なソートはユーザーエクスペリエンスにも大きな損害を与えます。多くのウェブマスターはランキングを上げるためにさまざまな不正な方法を使用しており、ソートアルゴリズムの開発をさらに困難にしています。 検索エンジンが取得できるパラメータはわずかです。ランキング アルゴリズムがどのように変更されても、これらのパラメータの重みが調整されるだけです。重要なパラメータを 2 つ以下に示します。 a) コンテンツ 今日の検索エンジンはユーザー エクスペリエンスを非常に重視しているため、これがすべてのランキングに影響を与える最も重要なパラメーターになります。 ウェブサイトのコンテンツの品質をどのように判断すればよいでしょうか? 独創性は重要な基準です。より一般的な独創性判断アルゴリズムには、空間ベクトルに基づくコサイン アルゴリズムがあります。このアルゴリズムは、キーワードの頻度と重みに基づいています。疑似オリジナル コンテンツを作成する多くの Web マスターにとって、これは研究する価値があります。 b) 外部リンク 外部リンクは、検索エンジンがウェブサイトの品質を評価するための重要な基準です。ここでは詳細には触れません。 5. クエリ - データ表示 多くの人は、Baidu や Google などの検索エンジンが短時間で膨大なデータの中から結果を見つけられるので、クエリ アルゴリズムは非常に複雑であるはずだと考えています。実際はそうではありません。それどころか、これは検索エンジン技術の最も単純な部分です。高速である理由は、前の手順の後に、すでにデータが準備されており、クエリを待機しているためです。 原文: http://www.wendaoruanjian.com/?p=38 元のタイトル: 検索エンジン関連技術の簡単な紹介 キーワード: 検索エンジン |
<<: WeChatをマーケティングに活用する方法についてもお話ししましょう
>>: ユーザーがどのようにウェブサイトを閲覧しているかご存知ですか?
[[217426]] QEMU-KVM は VMM として完全な仮想化環境を提供し、ゲストは変更なし...
Kvmla の新年の贈り物: すべての VPS (香港 VPS、シンガポール VPS、米国 VPS ...
新興のインターネット企業であれ、伝統的な業界であれ、その重点の一部はオンラインプロモーションとマーケ...
私のブログを長い間フォローしている若い人たちは、8月にvirmachが初めてサーバー上で起動されたと...
「パンケーキおばさんのO2O暴露」という記事を見ました。この記事を読んでから、ずっと興味深くて、私も...
Airbnbは30億ドルの評価額で1億ドルの調達を目指す事情に詳しい関係者によると、サンフランシスコ...
最近、携帯電話市場で最も注目を集めている携帯電話はどれかと聞かれれば、答えはサムスン Galaxy ...
[[268284]]導入今日のアプリケーションは、分散システム開発の驚異です。異なるシステム アーキ...
インターネットプロモーションは、敷居の低さ、操作の簡単さ、結果の速さなどの利点から、多くの中小企業に...
2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っています小紅書とい...
今日のクラウド コンピューティング市場は、幅広いインフラストラクチャおよびプラットフォーム サービス...
多くのウェブマスターは、ウェブサイトを作成した後、自分のウェブサイトの重みを改善する方法を探していま...
ミニプログラムの動作ロジックの観点から見ると、プラットフォームに寄生しており、プラットフォームのトラ...
2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っています昨年以来、...
IDC Review Network (idcps.com) は 4 月 15 日に次のように報告し...