リンクの偽装と百度の本物と偽物のスパイダー

2018年最もホットなプロジェクト：テレマーケティングロボットがあなたの参加を待っています

以前、グループの友人からリンク詐欺とは何かと尋ねられました。今日はこの話題について皆さんにシェアし、本物の Baidu スパイダーと偽物の Baidu スパイダーについて説明します。

まず、リンク欺瞞の原則。もちろん、ここで言及されているリンクはすべてフレンドリーリンクです。原理としては、相手と友好リンクを交換すると、その時点では両者に友好リンクがあるように見えますが、しばらくすると友好リンクが消えていることに気付きます。実際、これは最も単純なタイプのリンク詐欺です。さらに隠れたものもあります。それは、Baiduスナップショットを含む相手方のウェブサイトのホームページで確認でき、Aizhanやウェブマスターツールを使用して検出することもできますが、バックエンドのソースコードにアクセスして確認すると、hrefのリンクの部分が完成したホームページURLではなく、src = '/images/loading.gif' data-original="https://a5img.pncdn.cn/2018/0607/1528342105617.jpg" border="0" />であることがわかります。

次に、別のトピックを分析しましょう。偽の Baidu スパイダーを識別するにはどうすればよいでしょうか?

なぜ偽の Baidu スパイダーが存在するのでしょうか? たとえば、Aizhan や ChinaZ を使用して Baidu や Google スパイダーをシミュレートし、Web ページを分析する場合、この種のスパイダーは偽のスパイダーです。別の方法は、Python スクリプトなどのプログラムを通じてシミュレートすることですが、それをどのように識別するのでしょうか?

スパイダーがウェブサイトを訪問すると、それを記録するためのログがバックグラウンドで作成されることがわかっています。したがって、ウェブサイトのアクセスログから対応する IP を見つけることができますが、1 つずつ検索するのは非効率的です。ここでは、光年ログ分析ツールをお勧めします。杭州光年情報技術有限公司が開発した、IISやApacheなどのログを解析できるウェブサイトログ解析ソフトウェアです。

異常な IP を見つけたら、それが Baidu Spider の IP かどうかをどのように確認しますか? Windows システムに付属の cmd コマンドを使用する必要があります。図に示すように、IP アドレスが 117.136.45.119 の場合、nslookup コマンドを使用し、スペースを押して右クリックし、IP アドレスを貼り付け、最後に Enter キーを押して、特定の IP 情報を表示します。

名前が China Mobile のアドレスとして表示されていることがわかります。もちろん、ここでは例として自分の携帯電話の IP を使用しているだけです。偽の Baidu スパイダーを識別する目的は何なのかと尋ねる人もいます。

まず、これを使用して、Web サイトが含まれているかどうかを分析し、ログ ファイルに Baidu スパイダーが含まれているかどうかを確認します。この時点で、これらのスパイダーが本物か偽物かを分析する必要があります。 Baidu スパイダーの訪問は演出されているからです。

第二に、自社のウェブサイトを収集する窃盗プログラムに遭遇した場合、ログを分析して判断を下すことができます。ウェブサイトのアクセスログから相手のIPを調べてブロックします。犯人のプログラムは基本的にサーバー上にあるので、IPは比較的固定されています。

この記事はSuzhou SEO Optimizer Blogからの引用です。転載の際は出典を明記してください。よろしくお願いいたします。

原題: リンク詐欺と百度の本物と偽物のスパイダー

キーワード: Baidu スパイダー、検索エンジン スパイダー