ウェブサイトのログ分析、ウェブサイト上のSEO問題の調査と分析

SEO を始めた頃から、上司は私にこう言い聞かせてきました。「科学的な SEO を行うには、トラフィックが増加しているか減少しているかに関係なく、そのソースを知る必要があります。これを理解し、Web サイトのトラフィックの方向を判断するには、トラフィックの変化の原因を感覚に基づいて推測するのではなく、ログ分析に頼る必要があります。」そのため、私たちは最初からデータから始めて、ウェブサイトのデータをリアルタイムで監視し、データからウェブサイトの問題を特定し、それに応じて変更を加えます。これは、当社のウェブサイトがトラフィックの急激な減少から回復、そして急激な増加へと着実に発展できた理由の 1 つでもあります。

最近、ウェブサイトのトラフィックが急激に増加していますが、ウェブサイトの特定の部分のクロール量は急激に減少しています。ただし、インデックス量は依然として増加しており、トラフィックも増加しています。このため、8月末にクロールボリュームの減少を発見しましたが、目の前のトラフィックに惑わされ、クロールボリュームの減少に関するデータ分析を行っていませんでした。同時に、最適化を行う際にクロールボリュームを無視していました。今日になって初めて、この領域のデータの予備分析を行いました。ここでは、皆さんと共有する簡単な分析のアイデアと結果を示します。

まず、クロール量が大きく変化した日を明確に把握し、各月との比較をより明確にするために、まずは以下のように 6 月から 9 月 17 日までの毎日のクロール量をログでカウントしました。

この統計チャートによると、6月もクローリング量は正常に変動しており、7月末にはクローリング量が大幅に増加したことがわかります。しかし、8月10日以降は下降傾向にあり、その後は元のピークに戻ることはありませんでした。同時に、9月8日頃から直線的な下降傾向を示し始めました。このグラフから、ウェブサイトが7月26日からクロール最適化を開始したことがわかります。同時に、10が通常の変動であれば、ウェブサイトは11日と12日頃に調整されているはずであり、この調整はスパイダーによるウェブサイトのクロールにも影響を与えました。ウェブサイトのクロール量は9月4日から増加し始め、8日から減少し始めました。この2つの時点も分析する必要があります。

次に、次の図に示すように、Web サイトを分析する以前の方法に従って、Web サイトの応答時間の傾向を最初に分析しました。

上記2つの図の比較と分析:

まず、9 月の応答時間曲線は大きく変動しましたが、クロール量も大きく変動し、曲線の変動は正反対でした。 4 日から応答時間が短縮し、同時にウェブサイトのクロール量が増加しました。8 日まで応答時間が最低点まで下がり、クロール量が最高点まで上昇しました。9 日から応答時間が長くなり、クロール量も減少し始め、減少し続け、再び増加することはありませんでした。13 日からウェブサイトの応答時間が再び低下しましたが、クロール量は減少し続けました。

上記の 9 月の分析から、9 月にスパイダーの Web サイト クロールに最も影響を与えた問題は、Web サイトの応答時間であることがわかります。この期間中、トラフィックが増加すると、サーバーへの負荷も増加し、Web サイトの応答速度が大幅に低下し、スパイダーの Web サイト クロールに影響を与えました。ただし、13日以降もクロール量が減少し続けている場合は、Webサイトの応答速度以外にも原因がある可能性があります。したがって、8 月の次のデータ曲線チャートが分析されます。

8 月のクローリング量は 10 日に最高値に達し、その後減少に転じ、ピークに戻ることはありませんでした。論理的に言えば、Web サイトは毎日大量のデータを定期的に更新しており、クローリング量は増加するはずですが、減少しています。下の図と比較すると、8 月 26 日以前は応答時間が非常に安定しており、比較的速かったことがわかります。この比較から、8 月のクロール量の変動は Web サイトの応答速度とは無関係であることがわかります。

したがって、8 月に Web サイトをクロールしたときにスパイダーによって返されたステータス コードを分析します。

上の図からわかるように、8 月にスパイダーが Web サイトをクロールした際に、500 ステータス コードの 2% が表示されました。統計によると、この時点でのデータの2%はすべて8月11日から13日までのものでした。つまり、この 3 日間に Web サイトで重大な内部エラーが発生し、サーバーがリクエストを完了できなかったということです。

そこで、8月10日頃のウェブサイトの変更内容を分析しました。ウェブサイトのコードを分析すると（私は技術者なので、ウェブサイトのコードが変更された時間を見つけるのは簡単です）、8月11日にウェブサイトに機能が追加され、この機能にはデータ取得用の3つのテーブルが含まれていることがわかりました。ただし、データ取得時に1つのリンクが見落とされていました。その結果、ウェブサイトの機能が更新されてから3日以内に多くのエラーページが生成されました。エラーページは3日経っても修正されませんでした。

上記の 2 つの分析を組み合わせると、最近のクロール量の減少は主に次の 2 つの理由によることがわかります。

1. ウェブサイトへのアクセス数が多いと、応答速度が低下します。

2. ウェブサイト内のエラーにより、スパイダーはウェブサイトについて新たな不利な判断を下します。

もちろん、これらは予備分析から導き出された 2 つの結論にすぎません。その後の分析で、Web サイトが最近大量のスパム リンクを生成していることがわかり、これらのリンクのソースもプログラムの問題である可能性があるため、ログをさらに分析する必要があります。すべての問題は、IIS ログの分析から徐々に明らかになりました。 原因は判明しており、解決策は非常に簡単です。該当する問題に対処するだけです。

著作権に関する声明: 著者のオリジナルコンテンツを尊重してください。転載が必要な場合は、記事の元のアドレスを明記してください。著者/Sina Weibo: Qiu Shengbiao

元のURL: http://blog.sina.com.cn/s/blog_74db7fd701018arl.html

元のタイトル: ウェブサイトのログ分析、ウェブサイト上の SEO 問題の調査と分析

キーワード: ウェブサイトの日、分析、ウェブサイト分析、SEO、問題、ゼロからのスタート、上司、ウェブマスター、ウェブサイトのプロモーション、収益化