ウェブサイトの 404 ページ リターン コード エラーによりウェブサイトが K 化されたケース分析

私のウェブサイトは、8月のKステーション事件を無事に乗り越えましたが、残念ながら今月攻撃を受け、ついにKステーション化されてしまいました。

過去2か月間、Baiduのアルゴリズム調整により、多くの高品質ウェブサイトが誤って損害を受けました。しかし、これは百度による一時的な調整に過ぎないと私たちは考えています。百度はすべてのサイトを真剣に受け止めると信じています。私たちが高品質のコンテンツを提供し続け、ユーザーの認知度を高めれば、遅かれ早かれ回復し、ランキングも上がるでしょう。

さまざまなウェブマスターツールから提供されるデータの詳細な研究や、Baiduスパイダーのアクセスログの分析など、綿密な調査を行った結果、このKインシデントの主な原因は、ウェブサイトの大規模な改訂によるファイルの損失によって大量のデッドリンクが発生し、エラーページの404リターンコードの処理に大きな問題があったことが分かりました。 2 番目の理由は、ハッキングされて改ざんされた特定の高権威 Web サイトを指す外部リンクと、かなり昔のハッキングによる影響です。

この改訂後、サーバーは新しいサーバーシステムを採用し、より大きなウェブサイトアクセス容量を提供できるようになりました。ただし、新しいサーバーシステムの一部の機能に慣れていないため、設定が完了した後、エラーページに入った後、404ページに正常にジャンプできますが、200ステータスコードが返されます。

詳細な技術詳細分析:

1. このK-out事件の発端は10月17日（先週の水曜日）に遡ります。百度ウェブマスタープラットフォームのクローリング圧力フィードバックツールを分析したところ、10月17日の百度による百銀投資のクローリング量は0で、これが今回のK-outの始まりでした。しかし、スパイダーのクローリング量は翌日には回復し、徐々に大幅に増加しました。現在までに、スパイダーの1日のクローリング頻度は6,000回を超えており、これも初期回復の兆候です。

2.その後の動きは百度統計で見ることができます。実際にKになったのは10月18日です。百度統計の背景のインデックスボリュームは50,234ページから10未満に減少しましたが、その時点でSITEウェブサイトに表示されたページボリュームは依然として37,300ページであり、キーワードランキングは依然として正常でした。

3. ウェブマスターツールのウェブサイトの履歴データから、10月19日からBaiduフロントエンドに表示されるインクルードページの数が急速に減少し始めたことがわかりますが、まだインクルードページがあり、さらに3つの新しいインクルードページもありました。しかし、3日後には応募数が急激に減少し、10月21日時点でウェブサイトに残っていた応募数はわずか188件だった。

4. ウェブサイトは10月22日月曜日に正式にブロックされました。その日のインデックス数は 0 に減少しましたが、その日もインデックスされた Web ページの一部が時々 SITE から除外される可能性がありました。

次に、ウェブサイトのログファイルを分析しました。 10月22日のスパイダーの訪問は非常に異常であることが判明しました。スパイダーがクロールしたページはすべてエラーページであり、ゲームプラグインに関連するいくつかのセンシティブなキーワードもクロールしていました。

前述のように、私たちの観察によると、アクセス ログは Baidu スパイダーがアクセスしたすべてのパスです。改訂により、生成された静的ページの一部のみが保持され、そのほとんどはアクセスできなくなりました。さらに困惑しているのは、ゲームのダウンロードなど、まったく存在しないディレクトリ ファイルが Baidu スパイダーによってアクセスされていることです。

詳細な検査の結果、Web ページでパスを開くと 404 エラー ページが返され、サーバー側のファイル システムにパスが見つからないことが判明しました。

これらのゲームのキーワード ハイパーリンク アドレスは存在しないはずであり、外部リンクが指し示すこともないはずです。唯一の可能性は、Baidu キーワードが存在するか、権威の高い Web サイトがハッキングされ、アンカー テキストを含む外部リンクが追加され、スパイダーがサイトのこのパスを訪問するように誘導されていることです。私たちはこのような外部の問題に対処するには無力であり、ウェブマスターにウェブサイトのセキュリティ問題にもっと注意を払うように注意喚起することしかできません。

シミュレートされたクライアントがアクセスした Web ページの HTTP 戻りコードを注意深く確認したところ、問題の核心はこの不正なアクセスにあり、Baidu が直接フィルタリングできるように 404 コードを返す必要があることがわかりました。しかし、Baidu スパイダーのクロール プロセス中に、実際には 200 コードが返されました。

そこで、サーバーの問題を詳しく調べたところ、404 エラーの設定に問題があることが確認できました。不正アクセスをするとエラーページが表示されるものの、戻りコードは 200 だったので、早急に修正しました。

私たちが修正した後、翌日に Baidu Spider が返したステータス コードはすべて 404 でした。Baidu はまもなくこのサイトのすべてのファイルを再スキャンし、データベースから順序が間違っているファイルを徐々に削除し、正常な Web サイト ファイルを収集してクロールし、サンドボックスを徐々に解除すると考えています。

数日後、Baiduのクモが訪れ、たくさん這い回りました。しかし、そのほとんどは、123.125.68 セクションにある Baidu のダウングレードされたスパイダー、または 123.125.68 セクションにある低重量のクローラーであり、そのほとんどはエラー ページをクロールします。通常のページがクロールされることもあります。

本日、セグメント 220.181.108 からの高権限スパイダーがついに出現し、ホームページをクロールしました。ネットユーザーの体験によると、訪問後数日以内にスパイダーが解放され、組み込まれるとのこと。ブロックされたウェブサイトに何らかの影響があるかどうかはわかりません。できるだけ早く復旧されることを願っています。

この記事は Golden Novel Network www.hjxs.com からのオリジナルです。

最後に、ウェブサイトを構築する際には、サーバーのさまざまな構成、特に 404 エラー ページの戻りコードに注意を払う必要があることを皆さんに思い出していただきたいと思います。注意しないと、Baidu によって K されるという深刻な結果につながります。

原題: ウェブサイト 404 ページ リターン コード エラーによって発生したウェブサイト K の事例分析

キーワード: K、404 リターン コード、ブラック リンク、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化