Google ウェブマスター ツールのクロール エラーを修正する方法

クロール エラーは、Google ウェブマスター ツールの中で最も人気のあるツールの 1 つです。 URL リンクだけでなく、DNS 解決の失敗、サーバー リンク、robots.txt ファイルなどの問題を含む、間違ったリンクを確認するのに役立ちます。ほぼすべての Web サイトにクロール エラーがあります。

ウェブマスター ツールでは、エラーをサイト エラーと URL エラーの 2 つのカテゴリに分類します。ウェブサイトに複数のクロールエラーがある場合、ウェブサイトの信頼性が低下し、ランキングにも影響します。もちろん、このツールはBaiduの最適化にも効果的です。では、Google ウェブマスター ツールのクロール エラーをどのように解決すればよいのでしょうか?

Googlebot がクロールするエラーを分類することで、クロール エラーの原因を把握できます。

1. HTTPエラー

サイト上のページ（たとえば、ユーザーがブラウザでページにアクセスしたときや、Googlebot がページをクロールしたとき）がサーバーにリクエストを送信すると、サーバーはリクエストに応じて HTTP ステータス コードを返します。

403 ステータスが表示された場合は無視してください。これは、ホストが Googlebot のクロールをブロックしていることを意味します。すべての HTTP ステータス コードの完全なリストについては、Google HTTP ステータス コードのヘルプ ページをご覧ください。

2. サイトマップのエラー

サイトマップ エラーが発生すると、多くの場合、404 エラー ページが表示されるか、現在のマップで 404 エラー ページが返されます。404 エラー ページが表示される場合は、サイトマップ内のすべてのリンクを確認してください。

削除したサイトマップを Google が引き続きクロールするのは困ったものですが、解決方法があります。管理者ツールで古いサイトマップが削除されていることを確認してください。クロールされたくない場合は、古いサイトマップが 404 を表示するか、新しいサイトマップにリダイレクトするようにしてください。

Google 社員の Susan Moskwa 氏は次のように説明しています。

Googlebot によるクロールを防ぐ最善の方法は、これらの URL（古いサイトマップなど）を 404 にすることです。URL が複数回 404 に表示された場合は、Googlebot はクロールを停止します。

3. リダイレクトエラー

301 リダイレクトによってエラーが発生することがあります。リダイレクトを実行した後はどのような点に注意すればよいでしょうか?

1: 正しい HTTP ステータス コードが返されることを確認します。

2: 循環リダイレクトがないことを確認します。

3: リダイレクトが404ページや503（サーバーエラー）や403（禁止）などのエラーページではなく、有効なWebページを指していることを確認します。

4: リダイレクトが空のページを指していないことを確認します。

4. 404 エラー

404 エラーは次の領域に表示される場合があります。

1: ウェブサイト上のウェブページを削除しました。

2: ウェブページの名前を変更しました。

4: 存在しないページにリンクされています。

5: 他のウェブサイトがあなたのウェブサイトに存在しないページにリンクしている。

6: ウェブサイトは、ウェブサイトと完全に一致しない新しいドメイン名に移行されます。

5. robots.txt による制限

もう 1 つの理由は、robots.txt ファイルが Googlebot のクロールをブロックしていることです。クロール エラーが多数ある場合は、まず robots.txt を確認してください。

6. ソフト404エラー

通常、存在しないページがリクエストされると、サーバーは 404 (見つかりません) エラーを返します。要求されたページが存在しない場合に 404 コードを返すだけでなく、サーバーは 404 ページも表示します。 これは、標準の「ファイルが見つかりません」というメッセージである場合もあれば、ユーザーに詳細情報を提供するために設計されたカスタム ページである場合もあります。 ページの内容は、サーバーから返される HTTP 応答とはまったく関係ありません。ページに「404 ファイルが見つかりません」というメッセージが表示されたとしても、それが 404 ページであるとは限りません。

7. タイムアウト

ウェブサイトのタイムアウトもクロール エラーの原因の 1 つです。タイムアウトが発生すると、Googlebot はクロールを停止します。タイムアウト エラーの種類は次のとおりです。

1: DNS タイムアウト。DNS を検出するには、Nslookup コマンドを使用できます。DNS タイムアウトの最大の要因は、ドメイン ネーム サービス プロバイダーの DNS サーバーの不安定性です。

2: URL タイムアウト、ドメイン全体ではなく特定のページのエラー。

3: robots.txt のタイムアウト。Web サイトに robots.txt があっても、サーバーがタイムアウトすると、Googlebot はファイルが存在しないと見なします。

4: 動的 Web ページの応答時間が長すぎるため、Web ページの読み込み時間が長くなります。