検索エンジンデータ分析システム

データ分析システムは、検索エンジンの全体のワークフローの2番目のシステム、つまり検索エンジンスパイダークロールシステムの後のシステムです。検索エンジンのデータ分析システムは、主にスパイダーによってクロールされたWebページを処理するために使用されます。今日、Xiaoqiangは検索エンジンのデータ分析システムのワークフローといくつかの重要な知識ポイントについて詳しく説明します。データ分析システムは、主にスパイダーによってキャプチャされたコンテンツを分析するために使用されると述べました。では、どのように分析するのでしょうか? 主に次の点をカバーします。

ウェブページの構造

ウェブページの構造化とは何でしょうか? ウェブページは HTML で構成されていることを知っておく必要があります。検索エンジンのスパイダーが最終的に取得するものも HTML コード ページです。簡単に言うと、ウェブページの構造化とは、次の図に示すように、HTML コードを削除してコンテンツを残すことを意味します。図 1 はウェブページが構造化される前、図 2 はウェブページが構造化された後です。

ウェブページが構造化される前に

ウェブページが構造化された後

ウェブページコンテンツのノイズ除去

ウェブページ構造化後も、ナビゲーションバーのメニューテキストや下部の著作権情報など、検索エンジンが必要としないコンテンツが残っています。これらは検索エンジンには必要ありません。検索エンジンに必要なのはコンテンツだけです。このとき、構造化後のウェブページのコンテンツはノイズ除去されます。簡単に言えば、ノイズ除去とは、メニューのテキストや下部の著作権テキストなど、コンテンツ以外のすべてのテキストを削除することです。

では、検索エンジンのデータ分析システムは、どれがメニューテキストでどれが著作権情報であるかをどのように判断するのでしょうか?

実際、それは非常に簡単で、比較するだけです。たとえば、コンテンツ ページの場合、コンテンツを除いて、他のコンテンツはほぼ同じです。たとえば、ナビゲーション、各ページにナビゲーションがあり、テキストは同じで、著作権も同じです。もちろん、HTML ソース コードに基づいて分析されます。

重複したページがないか確認する

ページの重複チェックは、実はとても簡単に理解できます。検索エンジンのスパイダーがウェブサイトのすべてのページをクロールすると、クロールされたページとあなたのページを比較して、コンテンツに重複があるかどうかを確認します。重複がある場合は削除されます。

分詞

単語分割とは何ですか？簡単に言えば、文章をN個の単語に分割することです。単語分割は、中国語の単語分割と英語の単語分割に分かれています。検索エンジンには独自のデータベース辞書があり、その中には多くの単語が含まれており、辞書に従って単語分割を実行します。もう1つのポイントは、単語を分割するときに、「的」、「啊」などの不要な単語が削除されることです。

URLに対応するページの分析

これは、Web ページ分析システムの最後のステップです。主に、外部リンク、内部リンクなどのいくつかの外部および内部要因に基づいて、このページに対応する URL の重み値を決定します。これは、このページのキーワードのランキングに影響します。

この記事のアドレス: http://www.shizhanqiang.com/2012071065.html

原題: 検索エンジンデータ分析システム

キーワード: SEO、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化