サーバーに起因するスパイダークローリングの失敗を解決する

サーバーはウェブサイトの存続の基盤です。サーバー禁止の理由が何であれ、スパイダーのクローリングに直接影響し、ウェブサイトのユーザーエクスペリエンスに影響を与え、SEO作業の発展に役立ちません。重慶のseo Yishanqiは、自身の個人的な経験と、インターネット上の友人によるこの種の問題の分析を基に、サーバー禁止の主な3つの理由をまとめます。

1. サーバーの不安定性

現在、価格や品質が異なるサーバーが数多く存在します。ウェブマスターは選択する際に価格のみを考慮し、品質を考慮しないことがよくあります。リソースを節約するために、一部のスペースプロバイダーはスパイダーの IP アドレスを意図的にブロックし、スパイダーがクロールできなくなり、Web サイトのページが検索エンジンに含まれなくなります。

解決策: ウェブサイトの安定性を最大限に確保するために、強力で定期的なホスティング プロバイダーを選択します。サーバーやスペースの安定性を確保するには、一定の技術力が必要です。技術力のないスペースプロバイダーは、良いサービスを提供できない可能性があり、サービスの安定性が保証されません。非常に鮮明な例え話をすることができます。「人」をウェブサイトのコンテンツに例えると、サーバーは私たちの「家」です。サーバーは私たちを風雨から守り、生存のための優れた環境を提供します。サーバーの品質は、私たちが耐えられるリスクに影響します。セキュリティのない家に住んで、自分の人生を弄ぶようなことは誰も望んでいないと思います。ウェブサイトでも同じです！現在のサーバーが理想的ではなく、別のサーバーを選択する必要がある場合は、一時的に古いサーバーを一定期間使用し、301 ジャンプを実行して、サーバーの変更によって発生する一連の損失を最小限に抑えてください。

2. ヒューマンエラー

検索エンジンスパイダーに対する理解が不十分なため、検索エンジンスパイダーを装った一部の IP を正しく判断できず、検索エンジン IP が誤ってブロックされてしまいます。これにより、検索エンジンは Web サイトを正常にクロールできなくなり、新しい Web ページを正常にクロールできなくなり、以前に正常にクロールされて組み込まれたページが無効なリンクであると判断されます。その後、検索エンジンはこれらの無効なリンクを削除し、組み込まれる Web サイト ページの数が減少し、最終的に検索エンジンでの Web サイトのランキングが低下します。

解決策: 各検索エンジンのスパイダーを正しく理解します。検索エンジンが使用する IP アドレスはいつでも変更される可能性があります。各検索エンジンの IP アドレスを正しく識別できるようにするには、DNS 逆クエリを使用して、クロール元の IP アドレスが通常の検索エンジンに属しているかどうかを判断し、誤ブロックを防止します。

たとえば、Baiduspider を確認します。Linux プラットフォームでは、host ip コマンドを使用して IP を逆にし、Baiduspide からキャプチャされたかどうかを確認できます。 Baiduspider のホスト名は *.baidu.com または *.baidu.jp の形式です。 *.baidu.com または *.baidu.jp 以外のものはすべて偽装です。

$ ホスト 123.125.66.120

120.66.125.123.in-addr.arpa ドメイン名ポインタ

baiduspider-123-125-66-120.crawl.baidu.com です。

ホスト 119.63.195.254

254.195.63.119.in-addr.arpa ドメイン名ポインタ

BaiduMobaider-119-63-195-254.crawl.baidu.jp.

3. 保護的な臨時禁止。

1. ウェブサイトへのアクセス数が多すぎて、そのウェブサイトの負荷を超えた場合、サーバーは自身の負荷に基づいて保護のためにウェブサイトをブロックすることがあります。この禁止は一時的なものです。トラフィックがサーバーが処理できるレベルまで低下する限り、サーバーは正常に機能します。

2. もう一つの状況はスパイダーによって引き起こされます。ターゲット リソースの検索結果を向上させるために、検索エンジンは Web サイトを一定量クロールする必要があります。検索エンジンは、サーバーの容量、ウェブサイトの品質、ウェブサイトの更新などの総合的な要素に基づいて調整を行い、適切なサイトのクロール圧力を確立します。ただし、例外もあります。負荷が適切に制御されていない場合、サーバーは自身の負荷に基づいて保護禁止を実行することがあります。

解決策: 1. 負荷の原因が訪問数である場合、おめでとうございます。これは、Web サイトにすでにかなりの数の訪問者がいることを意味します。増加する訪問数に対応するために、サーバーをアップグレードする必要があります。 2. スパイダーが原因の場合は、次の方法を使用して、サーバー上のスパイダーの負荷を軽減できます。A. ロボット ファイルを使用して、スパイダーによるクロールを望まないページをブロックします。 B. スパイダーにクロールさせたくないリンクをブロックするには、nofollow タグを使用します。 C. ページ内の長い CSS および JS コードを外部ファイルに移動します。 D. 冗長なコードを削除します。上記の 2 つの状況では、戻りコードに 404 を使用しないように注意してください。503 (「サービス利用不可」を意味する) を返すことをお勧めします。こうすることで、スパイダーはしばらくしてからリンクを再度クロールしようとし、その時点でサイトがアイドル状態であれば、正常にクロールされます。

最後に、ウェブマスターの皆様には、サイトの安定性を保つために最善を尽くしていただきたいと思います。当面の間、検索エンジンにクロールされたくないページについては、正しいリターン コードを使用して検索エンジンに通知してください。検索エンジンにクロールされたりインデックスされたりすることを本当に望まない場合は、ロボット情報を記述して検索エンジンに通知することができます。

著者: Yishanqi

出典: 重慶SEO

記事リンク: この記事は http://www.137sv.com/seotechnique/27.html から引用したものです。転載の際は出典を明記し、出典の完全性を保ってください。よろしくお願いいたします。

原題: サーバーに起因するスパイダークローリング障害を解決する

キーワード: サーバー、スパイダー クローリングの失敗、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化