新しいサイトがインデックスされていない場合はrobots.txtファイルを無視しないでください

今日、偶然、ウェブマスターの友人の講演を目にしました。彼は、自分の新しいウェブサイトがなぜ含まれていなかったのか、そして問題の原因を発見してから解決するまでの一連の作業について話していました。これはかなり典型的なことであり、多くの人が遭遇する可能性があると思うので、皆さんと共有するためにここに投稿します。

問題の原因:

ウェブマスターが新しいウェブサイトを立ち上げて間もなく、ウェブサイト内に重大なバグ（脆弱性）が発生しました。ウェブマスターはまず robots.txt ファイルを使用して検索エンジンのクロールをブロックし、次にウェブサイトの bng を修復しました。

問題解決:

ウェブサイトのバグが修正された後、ネットユーザーは robots.txt ファイルを再度修正し、すべての検索エンジンがクロールできるようにしました。表面的には、この手順を実行した後は、検索エンジンがコンテンツをクロールするのを待つだけですが、1 週間経っても Web サイトからの応答がなく、Web サイトのログを確認すると、スパイダーさえもそこにいなかったことがわかります。そこで、ウェブサイトの robots.txt ファイルを削除しました。

問題の原理:

Baidu ウェブマスター ツールによる検出により、元の原因は robots.txt ファイルに隠されていることが判明しました。スパイダーは、Web サイトに bng が含まれていることを検出すると、検索エンジンによるクロールを禁止しました。スパイダーは、Web サイトのクロールが禁止されていることを検出すると、一定期間、デフォルトでクロールしないようにしました。 Baidu のウェブマスターツールによると、ウェブサイトの robots.txt ファイルは検索エンジンによるクロールが禁止された日に更新されており、それ以降は更新されていない。これは、スパイダーがクロール禁止のページをクロールすると、クロールを停止し、次のクロールの時間間隔をデフォルトに設定することをさらに証明しています。これにより、多くのウェブマスターが、スパイダーのクロールに対する robots.txt ファイルの制限を削除した後、新しいコンテンツの再インデックスに時間がかかる理由を説明できます。Baidu がウェブマスター ツールをリリースするまで、私たちはこれを知りませんでした。

解決：

原理を知れば、問題を解決するのがずっと簡単になります。次の画像をご覧ください。

まず、Baidu Webmaster Tools-robots.txt ツールを開いて、更新します。新しいサイトが含まれていない場合は、robots.txt ファイルを無視しないでください。

この記事の著作権: SEO Academy www.lyylx.com 転載する場合は出典を明記してください。

元のタイトル: 新しいサイトが含まれていない場合は、robots.txt ファイルを無視しないでください

キーワード: 新しいサイトが含まれない、無視される、robots.txt、ファイル、今日、意図しない、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化