SEO 担当者が IIS ログを通じてスパイダーの動きを分析する方法の例

最適化プロセスでは、私たちを悩ませるいくつかの問題に必然的に遭遇しますが、これらの問題は最適化戦略に関連しています。たとえば、私たちが作成した外部リンクはどの程度効果的か？私たちのスペースには肉眼では見えない不安定さはあるか？私たちのコンテンツの中でどのコンテンツがより好まれているか？検索エンジンのスパイダーはどのくらいの頻度で私たちのサイトをクロールしているか？などです。これらの問題は、最適化分析と戦略策定に関連します。では、これらの問題をより適切に分析できるチャネルは何でしょうか? サイトの IIS ログ ファイルを分析できます。

1: SEOにおけるIISの重要性

1: サイトの IIS ログを通じて、検索エンジンのクロール トラックやクロール量など、検索エンジンによるサイトのクロールを把握し、構築した外部リンクがクロールに与える影響を分析できます。外部リンクは、検索エンジン スパイダーがサイトに入るための入り口です。同時に、IIS レコードには、入り口からクロールする検索エンジン スパイダーが記録されます。

2：サイトの更新頻度と検索エンジンのクロール頻度には一定の関係があり、一般的には更新頻度が高いほど検索エンジンのクロール頻度も高くなります。 IIS ログの検索エンジンのクロール頻度を使用して、コンテンツの更新を微調整できます。

3: IIS ログには、サイトのスペースに外部からは識別できないエラーがあることが示され、これらのエラーは IIS ログに初めて反映されることがあります。ログを使用すると、問題を早期に検出して解決できます。

4: 同時に、IIS ログを通じて、コンテンツのどのコンテンツが検索エンジンに好まれ、どのコンテンツが検索エンジンに無視されるかを分析できます。このデータを活用してコンテンツを微調整します。

2. サイトのIISログの取得方法と設定上の注意

1: まず、ホストはサイトの IIS ログのダウンロードをサポートしている必要があります。購入時に、ホスト プロバイダーと連絡を取り、サポートされているかどうかを明確にする必要があります。サポートされている場合、通常はウェブログ ファイルにあり、このファイルから直接サイトのログ ファイルを取得できます。

2: 同時に、著者はログ生成を 1 時間に 1 回に設定することを推奨していることに注意する必要があります。コンテンツが少ない小規模または中規模のサイトの場合は、1 日に設定できます。コンテンツが大量にあり、1 日に 1 回生成されるように設定した場合、ログ ファイルが大きすぎる可能性があります。

3: IISログを分析する方法

1: ログファイルの分解と分析

メモ帳を使用してログ ファイルを開き、Ctrl + F を押して 2 つの検索エンジン スパイダー、BaiduSpider と Googlebot を検索できます。下の図に示すように

百度スパイダー

Googleスパイダー

セクションごとに分析することができます

2012-04-5 00:47:10 は検索エンジンスパイダーがこのページをクロールした時間を指します

116.255.109.37 このアドレスは当サイトのIPアドレスです

GET はイベントを表し、その後にスパイダーがクロールするページが続き、/ はホームページを表します。

220.187.51.144 この IP は、検索エンジン スパイダーのサーバーの IP アドレスを指します。このアドレスは検索エンジンスパイダーの実際の IP アドレスではない場合があります。どうすれば区別できるでしょうか? 私が行っている方法の 1 つを紹介します。コンピューターで CMD ウィンドウを開くことができます。 nslookup+IP アドレスを入力します。本物のスパイダーであれば、独自のスパイダー サーバーが存在します。下の図に示すように

本物の蜘蛛

偽の蜘蛛

追加されたスパイダー IP が表示されるのはなぜでしょうか? それは、誰かが検索エンジン スパイダーを装って、コンテンツを収集するためにサイトにアクセスするためです。過剰な収集はホストのリソースを消費します。このため、偽の IP の 1 つに基づいてブロックすることができます。

200 0 0 はステータス コードです。ステータス コードによって意味が異なり、たとえば 200 はダウンロード成功、500 はサーバー タイムアウトを意味します。これらは、ある程度、ホストのステータスを反映しています。

2: ログ分析を使用すると、スパイダーが最も頻繁にクロールするページを見つけて記録し、検索エンジン スパイダーがなぜそのページを好むのかを分析できます。​

3: URL アドレスが統一されていないことがあり、スラッシュ付きとスラッシュなしの URL アドレスに問題があります。検索エンジンのスパイダーは、これをスラッシュ付きのページへの 301 ジャンプとして自動的に識別します。ここで、検索エンジンがディレクトリを判別できることがわかるため、URL を統一する必要があります。​

4: 検索エンジンのスパイダーは、一般的にホームページ、ディレクトリ ページ、内部ページの順に、重みの降順でサイト ページをクロールします。​

IIS ログは、サイトの状態を分析するための重要なデータであり、最適化戦略を策定するための重要な指標の 1 つです。頻繁に分析して要約する必要があります。サイトのリソースを有効に活用してください。この記事はFree Movies http://www.ynt01.com/によって編集されています。転載の際は出典を明記してください。

元のタイトル: SEO 担当者が IIS ログを通じてスパイダーの動きを分析する方法の分析例

キーワード: インスタンス分類、SEOer、合格方法、IIS、ログ分類、分析、私たち、最適化、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化