Baidu のオリジナル Spark Project 検索エンジンが重複コンテンツを識別する方法

百度検索エンジンは、インターネットの情報内容を是正するために、「百度オリジナルスパーク計画」を大規模に開始しました。この計画を強力に実行するために、関連する特別ページを設立し、高品質のサイトをスパーク計画に参加するよう招待しました。今は「重複コンテンツ」や「ジャンクコンテンツ」が溢れる時代です。Spark プロジェクトの検索エンジンはどのようにして重複コンテンツを識別するのでしょうか?

検索エンジンは、ユーザーに高品質のコンテンツを提供するために、ユーザーが関連コンテンツを検索したときに、大量の重複結果を表示するのではなく、いくつかのフィルタリング メカニズムを使用して重複コンテンツを除外します。Web サイトに大量の重複コンテンツがある場合、検索エンジンのフィルタリング プロセス中に Web サイトに影響する可能性があります。

検索エンジンは、サイトのコンテンツをクロールする前に、すでにページを事前にクロールしています。Web サイトに重複ページが多数ある場合、スパイダーはこれらのページを 1 つずつ検索します。返された結果はフィルタリングされますが、サイト ページをクロールするためのスパイダーの予算は無駄になり、スパイダーが他の高品質のページをクロールする機会が減少します。重複ページは Web サイト全体の重量を分散させるため、スパイダーが取得できる意味のあるページの数も減少します。

ウェブマスターは、検索スパイダーがどのバージョンの重複ページをクロールするかを判断できず、検索エンジン自体も指示をクリアできません。スパイダーが返すページは、ユーザーの検索ごとに異なる場合があり、既存の重複ページにも異なる偏りがある可能性があります。ユーザーが検索したときに返されるページは、最も返されるページですか？最高のトラフィックコンバージョン率をもたらすことができますか？これらはすべて未知数です。重複ページの重みの分散を減らすには、ロボットファイルへの組み込みをブロックするか、重みを転送するための正規タグを追加します。

上記で分析したように、重複コンテンツはスパイダーのクローリングに影響します。同時に、インターネット エコシステムの公正かつ健全な発展と、高品質のオリジナル サイトの共同利益を確保するため、検索エンジンは、重複サイト、不正なサイト、スパム サイトを罰し、収集ステーションによって奪われるオリジナル コンテンツの価値を低下させます。検索エンジンはそのような発言をしていますが、重複コンテンツをどのように識別するのでしょうか?

重複コンテンツは、異なるサイトまたは同じウェブサイト上で発生する可能性があります。最適化されていない SEO 最適化 CMS システムでは、ウェブサイト上に同じページにアクセスできる URL アドレスが複数存在する可能性があります。これも重複コンテンツです。スパイダーはこのような状況に遭遇すると、どのページが重要なページであるかを判断します。まず、ロボット ファイルからクロール禁止のアドレスがあるかどうかを確認します。ある場合、重複ページのアドレスのクロールを停止します。ない場合は、コンテンツのクロールを続行します。クロール中に、noindex のあるこれらのページはスパイダー向けに準備されていないことを示すメタ タグに遭遇します。この場合、スパイダーは重複したページをクロールし続けないため、スパイダーのクロールの難易度が下がります。重複コンテンツであっても、スパイダーは価値のあるバージョンのみをクロールします。

Baidu の Spark Plan では、ウェブマスターの皆様にオリジナル サイトへの参加を呼びかけています。あなたのサイトがこの Web サイト上で初めてのものであり、コピーや模倣ではなく、独自のコンテンツと形式を持ち、社会的合意価値を持つリソースであり、関連する国家規制に準拠しており、二次的ロードや疑似オリジナルではない場合、Baidu オリジナル Spark Plan サイトにサイトを送信できます。この方法により、サイトの重みが高くないため、サイトのコンテンツが重みの高いウェブサイトによって転載された後、スパイダーは転載されたサイトをオリジナルコンテンツであると認識し、自分のサイトは実際には転載収集サイトである、という問題を軽減できます。

検索エンジンは、ウェブサイトのコンテンツがオリジナルかどうか、また重複コンテンツのページのうちどのページがオリジナルページであるかをどのように判断するのでしょうか。これは、これまでどの検索エンジンも発表したことのないアルゴリズムです。しかし、婁迪人材網（http://www.0738rc.com）は、百度の公式データから、「オリジナル」ラベルの付いたウェブサイトについて、オリジナルスパークプランの開始前後のトラフィックを比較したところ、オリジナルURLのトラフィックが大幅に増加したことを知りました。同時に、オリジナルスパークプランの発売後、オリジナルURLのトラフィックが大幅に増加し、徐々に安定しました。ウェブサイトがBaiduオリジナルプランに参加できれば、ウェブサイトのトラフィックを増やすのに大いに役立つことがわかります。

元のタイトル: Baidu のオリジナル Spark Project 検索エンジンが重複コンテンツを識別する方法

キーワード: Baidu、オリジナル、Spark、計画、検索、エンジン、方法、重複の特定、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化