価値ある品物をどのように判断すればよいでしょうか?

趙さん、多くの人が私に尋ねてきました。百度はどうやって偽オリジナリティとオリジナリティを判断するのですか？百度はどんな記事を好むのですか？どんな記事がロングテールキーワードランキングを獲得する可能性が高いのですか？など、同様の質問です。こういった質問に直面すると、どう答えたらよいか分からないことがよくあります。ユーザーエクスペリエンスに配慮する、有意義であるなど、より一般的な答えをすると、質問者は私がただ相手をだまそうとしているだけだと感じ、答えが漠然としすぎると不満を言うことがよくあります。しかし、これ以上の具体的な情報はお伝えできません。結局のところ、私は Baidu ではありません。具体的なアルゴリズムについて、どのようにアドバイスすればいいのでしょうか?

この目的のために、私はこの「もし私だったら」シリーズの記事を書き始めました。この連載記事では、ネットユーザーのためにより良い検索サービスを提供するために私が知恵を絞るとしたら、記事の内容をどのように扱うか、外部リンクをどのように扱うか、ウェブサイトの構造やその他のサイト要素をどのように扱うか、について考えていきたいと思います。もちろん、私のスキルには限界があるので、少し理解していることしか書けません。 Baidu や他の商用検索エンジンには、私よりも優れた人材が多数います。彼らのアルゴリズムや問題への対処方法は、私のものよりはるかに優れていると思います。私がこの記事を書いた理由は、いくつかのアイデアを提示するためだけです。この記事を読んで、皆さんの頭の中に大まかなアイデアが浮かんでくることを願っています。結局のところ、一定期間 SEO の道を歩んだ後では、誰も他の人の先生になることはできず、一部の意見は参考用にすぎません。

ここで、この一連の記事に含まれるすべてのアイデア、アルゴリズム、プログラムは私が書いたものではなく、すべて公開されている資料から私が収集したものであることを厳粛に宣言します。同時に、こうした自由でオープンなものがそのようなレベルに到達できるのであれば、そうしたビジネスは今すぐに始められるということを誰もが理解できると思います。

私だったら、どんな記事がいいでしょうか？ユーザーに好まれる記事がいいです。条件を追加するとしたら、2種類しかありません。1. オリジナルでユーザーに好まれるもの。 2. オリジナルではないが、ユーザーに好まれている。ここでの私の態度は非常に明確です。疑似独創性は非独創性です。では、ユーザーはどのような記事を好むのでしょうか? 明らかに、ユーザーは新しいアイデアや新しい知識を好むことが多いです。つまり、オリジナルの記事は通常、ユーザーに好まれます。たとえユーザーが気に入らなくても、新鮮なコンテンツの作成者としてのオリジナルサイトも、ある程度は保護されるべきです。では、ユーザーはオリジナルではない記事を嫌うのでしょうか? もちろんそうではありません。一部のサイトのコンテンツは、収集および整理された後に集約されることがよくあります。この場合、これらのサイトはユーザーにとって価値があり、対応する記事はより高いランキングを獲得するはずです。

このことから、2 種類の記事に注意を払う必要があることがわかります。 1つはオリジナルの記事、もう1つは価値ある情報集約サイトの記事です。まず、この記事の範囲は、特別ページ、リスト ページ、ホームページではなく、コンテンツ ページに限定されていることを明確にする必要があります。

したがって、これら 2 種類の記事を識別する前に、まず情報を収集する必要があります。この記事ではスパイダー プログラムの部分については詳しく説明しません。スパイダー プログラムが Web ページ情報をダウンロードした後、コンテンツ処理モジュールで、まずコンテンツからノイズを除去する必要があります。

コンテンツのノイズ除去は、多くの人が誤解しているように、単にコードを削除するだけではありません。私の場合、ページのメインコンテンツではないテキストも削除したいと考えています。たとえば、ナビゲーション バー、下部のテキスト、記事のリストなどです。それらの影響を取り除くと、Web ページのメイン コンテンツのみを含むテキスト段落が完成します。ウェブマスターとしてコレクションルールを書いたことがある友人なら、これは難しいことではないと知っているはずです。しかし、検索エンジンは所詮プログラムであり、サイトごとに収集ルールのようなものを書くのは不可能なので、ノイズ除去アルゴリズムを確立する必要があります。

その前に、まず私たちの目的を明確にしましょう。

上の図から、コンテンツ 1 はユーザーが最も必要としているものであり、コンテンツ 2 はユーザーが興味を持つ可能性のあるものであり、残りは無効なノイズであることがわかります。すると、次の特徴が見つかります。

1. すべてのコールリストは 1 つの情報ブロックにまとめられており、その大部分はタグで構成されています。タグに依存しないコンテンツがある場合でも、テキストは基本的に固定されており、サイトのページには繰り返しが多く、比較的簡単に判断できます。

2. コンテンツ 2 は通常、コンテンツ 1 に隣接しています。さらに、コンテンツ 2 のリンク アンカー テキストはコンテンツ 1 に関連しています。

3. コンテンツ 1 はテキスト コンテンツとタグの混合であり、通常、テキスト コンテンツは Web サイトの Web ページ コレクション内で一意です。

そこで、よく知られているタグ ツリー方式を使用してコンテンツ ページを分解します。ウェブページのタグレイアウトから判断すると、ウェブページは多数の情報ブロックを通じてコン​​テンツを提供しており、これらの情報ブロックは特定のタグによって計画されています。一般的なタグにはなどがあります。これらのタグを使用して、ウェブページをツリー構造に分解します。

上の写真は私が手描きしたシンプルなラベルツリーです。この方法では、各情報ブロックを簡単に識別できます。次に、コンテンツ比率しきい値として特定のしきい値 A を設定します。コンテンツの重みしきい値は、情報ブロック内の単語数とタグが出現する単語数の比率です。ウェブページ内の情報ブロックコンテンツ比率のしきい値が A より大きい場合にのみ、有効なコンテンツブロックとしてリストされるように設定しました (これは、過剰な内部リンクを防ぐためです。記事が内部リンクでいっぱいになると、ユーザーエクスペリエンスに悪影響が出るからです)。次に、コンテンツブロック内のテキストを比較します。一意である場合、1 つ以上のコンテンツブロックのコレクションが必要な「コンテンツ 1」です。

では、コンテンツ 2 にはどのように対処すればよいのでしょうか。コンテンツ 2 の対処方法を説明する前に、まずコンテンツ 2 の意味について説明します。前にも述べたように、ユーザーエクスペリエンスに重点を置いたアグリゲーション Web サイトの場合、その役割は、既存のインターネット コンテンツを慎重に分類して関連付け、ユーザーがより良く、より効果的に読めるようにすることです。そのようなサイトの場合、記事がオリジナルではなくインターネットから抜粋されたものであっても、適切に集約されたコンテンツはユーザーのニーズをよりよく満たすことが多いため、十分な注目とランキングを与えます。

なので、集約サイトの場合は「コンテンツ2」を基準に大まかな判断ができます。つまり、良い集約サイトであれば、まずそのコンテンツページにコンテンツ2が存在し、コンテンツ2が重要な部分を占めていなければなりません。

さて、コンテンツ 2 を識別するのは非常に簡単です。コンテンツの重みしきい値が特定の値よりも低い情報ブロックについては、すべてをリンク モジュールとして判断します。コンテンツ1からトピックBをある方法で抽出しました（具体的な方法についてはこの記事の後半で説明します）。リンクモジュール内のすべてのタグのアンカーテキストを個別にセグメント化します。すべてのアンカーテキストがトピック B と一致する場合、リンクモジュールはコンテンツ 2 と判断されます。コンテンツ2にタグが出現する回数を、すべてのリンクモジュールにタグが出現する回数で割った比率であるリンクしきい値Cを設定します。Cより大きい場合、このWebサイトは集約Webサイトの可能性があり、コンテンツランキングを計算する際に集約サイト固有のアルゴリズムが参照されます。

多くの SEO 実践者は、この分野で働き始めたときに、コンテンツ ページからエクスポートされたリンクは関連性がなければならない、という 1 つのことを聞いたことがあると思います。もう 1 つは、ユーザーがさらに深くクリックしたくなるように、ページの下部に関連する読み物がある必要があるということです。同時に、内部リンクは適度に、多すぎないようにすべきだという意見を聞いたことがあるかもしれません。

しかし、その理由を説明する人はほとんどおらず、根底にある論理を理解していないために、これらの詳細を徐々に無視する人が増えています。もちろん、以前の検索エンジンのアルゴリズムの中にはコンテンツに十分な注意を払わないものもあり、これも問題の一因となっていました。しかし、陰謀論の観点から見れば、この真実を推測することができます。

ほとんどのユーザーの検索ページには、最初のページに 10 件の結果しかありません。自分の製品を除くと、残っている結果は 7 件程度であることがよくあります。ほとんどのユーザーは、最大でも 3 ページ目までしかクリックしません。そのため、ユーザー エクスペリエンスを最大化するには、実際には 30 件未満の高品質なサイトが必要です。そして、3～5年の計画を経て、時間をかけて細部に注意を払いながら、時間をかけても耐えられるサイトを徐々に選別していきます。このとき、アルゴリズムのこの部分を調整し、これらの高品質なサイトを選別してユーザーにプッシュします。もちろん、ドメイン名の年齢、JS の量、Web サイトの速度など、プロセスにはさらに多くの参照要素があります。

サイトに同じ記事がたくさんあると、なぜすぐに検索エンジンのペナルティを受けるのかと疑問に思うかもしれません。ここで私が話しているのは、抜粋や独創性の問題ではなく、サイト上のあなた自身の記事とあなた自身の記事の重複です。検索エンジンがこれほど迅速に反応し、厳しく罰する理由は、記事からコンテンツを抽出できないからです1。

さて、この一連の処理の後、コンテンツ 1 とコンテンツ 2 を取得しました。次は、元の識別のためのアルゴリズムを使用します。現在、検索エンジンは一般的に、キーワード マッチングとベクトル空間モデルを組み合わせて、元のコンテンツを識別します。これは Google が行っていることであり、公式ブログには関連する記事があります。ここでは、シンプルでわかりやすいように、平易な言葉で紹介したいと思います。

次に、コンテンツ 1 を分析して、コンテンツ 1 で最も重みが高いキーワード k を取得し、重みに従って並べ替えます。重みが最も高い上位 N 個のキーワードのセットを K と名付け、K={k1、k2、…、kn} とすると、各キーワードはページで取得された重み特徴値に対応します。k1 に対応する重み特徴値を t1 に設定すると、上位 N 個の重みキーワードに対応する特徴値セットは T={t1、t2、…、tn} になります。この機能項目が得られたら、対応する特徴ベクトル W={w1、w2、…、wn} を計算できます。次に、K を文字列 Z に連結し、MD5(Z) は文字列 Z の MD5 ハッシュ値を表します。

次に、私が判断する 2 つのページが i と j であるとします。次に、2つの式を計算しました。

1. MD5(Zi)=MD5(Zj)の場合、ページiはページjと全く同じであり、再版とみなされます。

2. 特定の値αを設定する

0≤α≤1の場合、ページは類似しており重複していると判断します。

以上で原著論文の判決は終了する。さて、退屈で面倒な説明は終わりました。今度は、わかりやすい言葉でもう一度繰り返します。

まず、コンテンツがまったく同じで、単語を1つも変更していない場合は、抜粋であるはずです。このとき、MD5ハッシュ値ですぐにそれを判断できます。

第二に、多くの SEO 担当者は怠惰で、いわゆる疑似オリジナル作品に取り組んでいます。疑似オリジナル作品に自分の意見や情報を挿入できるとおっしゃっていますが、結局は同義語などを変更するだけです。そこで、私は特徴ベクトルを使用し、特徴ベクトルの判断を通じて、あなたの劣悪な疑似オリジナル作品を捕まえました。これに関して、判断の考え方は非常にシンプルです。重み付けが最も高い上位 N 個のキーワード セットが非常に類似している場合、それらは重複していると判断されます。ここでの類似性には、重み付けが最も高い上位 N 個のキーワードの重複が含まれますが、これに限定されるものではなく、特徴ベクトルが構築されます。2 つのベクトルの角度と長さを比較し、角度と長さの差が一定値未満の場合に、類似記事と定義します。

Googleの不正行為対策チームの公式ブログをフォローしている友人は、類似記事判定アルゴリズムに関するGoogleのブログ記事を読んだことがあるはずです。その記事では、角度を計算するために主に余弦定理が使用されています。しかしその後、趙氏はさらにいくつかの論文を読み、ブログ記事がGoogleに放棄された後に初めて解読されたと感じました。現在、アルゴリズムの一般的な傾向は角度と長さを計算することであるはずなので、彼は私が今皆さんに示しているアルゴリズムを選択しました。さて、ここでいくつか問題に気づきました。

1.繰り返しと判断されるときのαの取り得る値の範囲は可変か？

2. コンテンツからキーワードを抽出するにはどうすればいいですか?

3. コンテンツ内のキーワードの重み値はどのように割り当てられますか?

一つずつお答えしましょう。

まず、繰り返しを判断する際のαの値の範囲について説明します。この範囲は完全に可変です。 SEO 業界の急速な発展に伴い、手抜きをしたい人が増えていますが、これは検索エンジンにとって受け入れられません。そのため、数年ごとに大規模なアルゴリズムのアップデートが行われ、各大規模なアルゴリズムのアップデートでは、検索結果のどの程度の割合が影響を受けるかが発表されます。では、結果に影響を与えるパーセンテージはどのように計算されるのでしょうか。もちろん、数字ではありません。内容的には（他の側面については別の記事で説明します）、類似性を判断する際のαの値空間の変化を調整することで計算されます。各ページを私が処理すると、計算したα値がデータベースに保存され、アルゴリズムを調整するたびにリスクを最大限に制御できるようになります。

では、どうやってキーワードを抽出するのでしょうか。これは単語分割技術と呼ばれ、後ほど説明します。ページ上のさまざまなキーワードの重み付けの割り当てについても後ほど説明します。

記事の類似性については、簡単に言うと、以前は「ますます多くのSEOが記事の品質に注目し始めています。」という記事を「高品質の記事はより多くのSEOに評価されています。」に変更するなど、人々が記事を修正していました。これは以前は認識されていませんでした。私はあなたの技術を認識していなかったのではなく、範囲を緩めていたのです。パラメータ値の範囲を設定することで、必要なときにいつでもページの価値を再判断できます。

さて、ここで少し混乱しても心配しないでください。ゆっくりと説明を続けます。上記のアルゴリズムでは、上位 N 個の重要なキーワードとそれに対応する重み特徴値を知る必要があります。これらの値を取得するにはどうすればよいですか?

まず、単語を分割する必要があります。単語分割では、まずプロセスを設定し、次に前方最大マッチング、後方最大マッチング、最小分割などの方法のいずれかを使用して単語分割を実行します。これについては、私のブログ記事「一般的な中国語の単語分割手法の紹介」で説明するので、ここでは詳細には触れません。単語分割により、このページのコンテンツ1のキーワードセットKを取得しました。

コンテンツ 1 を識別するときに、すでにタグ ツリーを構築しているので、コンテンツ 1 は実際にはタグ ツリーによって段落で構成されたツリー構造に分割されています。

上の画像はコンテンツ1のタグツリーです。ここで、タグ ツリーに重みを割り当てるときに、ページ全体のタグ ツリーに対して重みを割り当てるべきか、それともコンテンツ 1 のタグ ツリーに対してのみ重みを割り当てるべきかという問題が発生します。

コンテンツ1のキーワードに基づいて課題判定が行われるので、コンテンツ1のみを処理すれば十分だと考える友人も多いかもしれません。実はそうではありません。検索エンジンは少なくとも数千万のデータを処理するため、効率的なコードとアルゴリズムに対する要件は非常に高くなります。

通常の状況では、ウェブサイトのウェブページは孤立して存在することはできません。特定のキーワードでページをランク付けする場合、外部要因を考慮するだけでなく、サイトの重みの継承を考慮する必要があります。したがって、サイトの重みの継承を考慮するときは、必然的に内部リンクの計算を避けなければなりません。同時に、内部リンク自体にも異なる重みの区別が必要です。内部リンクの重みを計算するときは、そのリンク先のページの関連性を必ず考慮する必要があります。この場合、ページ全体のすべての情報ブロックに一度で重みを割り当てる必要があります。これは効率的であり、コンテンツの重要性とリンクの関連性を完全に反映します。オンラインでよく見かけるフレーズを使うと、関連性がリンク投票の有効性を決定します。

さて、重みがラベル ツリー全体に割り当てられていることがわかったので、始めましょう。まず、重要なキーワードの語彙を決定する必要があります。重要なキーワードを決定する方法は 2 つあります。

1.さまざまな業界の主要キーワード。

2. 文の構造と品詞のキーワードに焦点を当てます。

成熟した商用検索エンジンはそれぞれ、業界ごとに異なるアルゴリズムを持っています。業界の判断は各業界のキーワードデータベースを元に行います。最近、百度は特定のキーワードの検索結果にウェブサイトの登録情報や認証情報を表示するようになりました。これは、この語彙が実は古くから存在していたことを示しています。

では、文の構造についてどこから話せばいいのでしょうか。中国語の文は、主語、述語、目的語、形容詞、副詞、補語などのいくつかの構造にすぎず、品詞は名詞、動詞、前置詞、形容詞、副詞、擬音語、代名詞、数字に限られています。 SEO を始めたばかりの頃、検索エンジンはノイズ除去の際に単語や代名詞を削除すると聞いたことがある人も多いと思います。実際、この説明は概ね正しいのですが、完全に正確というわけではありません。根本的な観点から言えば、それは文の構造や品詞を扱うときの態度の違いです。主語は最も重要な部分であることは間違いありません。文の主語が変わると、その主語が対象とする対象や表現したい意味が変わることがよくあります。対象が変われば、この記事で取り上げた業界も変わる可能性は大いにあります。したがって、主題は間違いなく私が必要とするキーワードです。なぜ主語部分の代名詞を削除するように言わなかったのでしょうか。主語を削除すると文章が歪むことが多いため、意味がないように見える代名詞であっても、主語のすべての属性を持つ単語を残しておきたいからです。

では、形容詞についてはどうでしょうか。形容詞は物事の程度や性質を決定することが多いので、形容詞も非常に重要です。しかし、ここで問題が発生します。ユーザーにとって、美しい絵ときれいな絵は同じ意味を持ちますが、美しい絵と醜い絵は反対の意味を持ちます。同時に、補語などの他の文構造は、文を補足するものとして、場所や時間などの情報を伝えることが多く、これも非常に重要です。もしそうなら、最も重要なキーワードをどのように判断すればよいでしょうか?

この問題は確かに複雑ですが、その解決は単純であると同時に困難でもあります。それは時間とデータの蓄積です。私がこんなことを言うのは無責任だと考える人もいるかもしれないが、これは真実だ。もしこの世に SEO も疑似オリジナリティも存在しなかったら、検索エンジンは安心できるでしょう。疑似オリジナリティの干渉がなければ、検索エンジンは転載されたコンテンツを素早く識別し、非常に簡単にランキングを計算できるからです。しかし、疑似オリジナル性の出現以降、コンテンツ判断アルゴリズムの調整は、実際には、一般的な疑似オリジナル慣行を特定することに重点が置かれるようになりました。疑似オリジナリティが存在するため、私が戦略を設計するのであれば、2 つのレキシコンを設計します。レキシコン A はコンテンツが属する業界を区別するために使用され、レキシコン B は異なる業界用です。次に、これら 2 つのサブレキシコンを関連付けるためのいくつかのルールを設定します。

例えば。たとえば、疑似オリジナリティが横行する医療 SEO では、いくつかの病気に関する単語を通じて、コンテンツが医療業界に属していることをすぐに識別できます。そこで選択する際には、何らかの理由で医療を厳格に扱うため、医療記事の重要な内容は主語となる名詞だけであると考えます。そして、主語となる名詞のうち、疾患名詞を最も高い優先順位とし、優先順位付けを行います。ソートでは、主語名詞の数がNより大きい場合、ルートノードに最も近い情報ブロックが最も高い優先順位を持ち、同じ名詞は1回だけ選択されるという原則に従ってランク付けされ、その後、最初のN個の重要なキーワードが割り当ての初期ノードとして選択され、重み付けが行われます。

次に、値を割り当てるときに割り当て係数 e を設定し、割り当てられたノード上のキーワードの種類に基づいて割り当ての重みを決定できます。例えば、タイトルに繰り返される疾患名詞の係数はe1、タイトルに対応しない疾患名詞の係数はe2、その他の名詞の係数はe3です。次に、タグツリーのトラバースを開始します。ページ全体の重みは Q であり、最初の N 個のキーワードの順序で走査されます。私のトラバーサル原則は次のようになります。

1. 最初のトラバーサルでは、最初の重要なノードの重み値は Qe1、その親ノードの重み値は Qe1*b、その子ノードの重み値は Qe1*c です。次に、この原則に基づいて、親ノードの親ノードとその子ノード、および子ノードの子ノードとその親ノードがトラバースされます。

以下に例を挙げます。 Qが1でe1が3であると仮定する

最初は次の図のようになります

次に、a が前の数値の平方根であり、b が前の数値の立方根であると仮定します。下記の通り

次に、他のノードのトラバースを開始します。

Web ページ タグ ツリー全体のすべてのノードに値が割り当てられると、最初のトラバーサルが終了します。この時点で、2 回目のトラバーサルが始まります。e2 に掛けられるのは Q ではなく、2 番目に重要なキーワードが配置されているノードの現在の重み値であることに注意してください。

N 回のトラバーサルの後、各情報ブロックにはそれぞれ対応する重み値があり、その後、コンテンツ 1 の情報ブロックを個別に抽出します。具体的な詳細は上記のテキストに示されているため、ここでは詳しく説明しません。コンテンツを定量化する 1.量子化後、上記で必要な重み特徴値 T={t1, t2,…, tn} を取得できます。したがって、このアルゴリズム層は、それに応じて最初に改善されることになります。定量的な式はたくさんありますが、意味がなく、実際に検索エンジンを作成しているわけではないため、ここでは例を挙げません。

リンク モジュールの重みは、最終的にはハイパーリンクを通じてリンク先のページに送信されます。これは、異なる場所のリンクの送信重みが異なることも示しています。内部リンクの位置によって、内部リンクの重み継承が決まります。よく耳にするのは、キーワードは内部リンクの文脈で表示されるべきだということです。これは実はこのアルゴリズムから派生した現象です。この時点で、このアルゴリズム層は基本的に完成しています。

1. この記事のアルゴリズムは私が書いたものではないことを再度強調します。他の人から借りたものです。誰から借りたのでしょうか? 忘れてしまいました... たくさんあります。

2. 経験豊富な商用検索エンジンはすべて階層化されたアルゴリズムを備えており、アルゴリズムのレイヤーは 1 つだけではありません。したがって、この単一のアルゴリズム レイヤーはランキングに大きな影響を与えると言えますが、ランキングは間違いなくこの 1 つのアルゴリズム レイヤーだけに基づいているわけではありません。

では、このレイヤーのアルゴリズムを大まかに理解した後、実際の操作に役立つ具体的な方法はありますか?

1. コンテンツページの列レイアウトを合理的に設定する方法を効果的に知ることができるため、記事を転載する際に、より良いユーザーエクスペリエンスのためにあらゆる関係者の意見を取り入れた記事を集約していることを Baidu が認識できるようになります。

2. どの記事が類似記事として判断されるかをよりよく理解できます。

3. これが最も重要なポイントです。つまり、コンテンツ ページをより適切にレイアウトできるということです。真のホワイトハット SEO では、サイトを調査する際に、ページ上の列のレイアウトが特に重要です。経験豊富な SEO では、ページの重み継承を効果的に利用してロングテール ランキングを上げることができます。これは、コンテンツ ページが多数あるポータルや B2C Web サイトにとって非常に重要です。もちろん、ロングテールランキングの観点からは、ページの重み転送の理解とレイアウトは基礎に過ぎません。今後、列レベルの設定と重み転送に関する私の見解については、次の記事で詳しく説明します。

4. 内部リンクの重み継承の一般原則を理解する。

この記事は最初に趙氏のブログに掲載されました。元のアドレス: http://www.seozhao.com/379.html 転載する場合は出典を明記してください。

原題: もし私が価値ある記事を判断できたらどうしますか?

キーワード: もし、どう判断するか、価値、記事、多くの人、質問、趙さん、ウェブマスター、ウェブサイト、ウェブサイトの宣伝、お金を稼ぐ