分析: スパイダーが私のウェブサイトをクロールしない理由

seowhy で非常に興味深い質問を見ました。質問は次のとおりです: (回答してください) なぜ Baidu スパイダーが私のサイトを訪問したことがないのですか?上記の問題から、ウェブマスターはこのような問題に遭遇すると非常に動揺するはずだということがわかります。私はサイトを慎重に設計しましたが、スパイダーがクロールしないとは思っていませんでした。では、蜘蛛が這い寄ってこない理由は何なのでしょうか？分析してみましょう。

このような問題に遭遇した場合、状況は 2 つしかありません。1. クモの這い回りをブロックしている。 2. クモに邪魔される

1. 蜘蛛をブロックした

スパイダーをブロックしているため、スパイダーが当社の Web サイトをクロールすることは不可能です。

1. まず、ウェブサイトの robots.txt ファイルをチェックして、ファイルが正しく記述されているか、大文字と小文字が混同されていないか、ウェブサイト構築の初期段階ですべてのスパイダーのクローリングをブロックする指示を変更するのを忘れていないかを確認する必要があります。通常の状況では、robots.txt の検出は、検査のためにウェブマスター ツールに直接引き渡されます。

2. サーバープロバイダーがスパイダーのクロールをブロックしているかどうか。これは不可能だと思わないでください。ホストハウスは誤って Baidu Spider をハッカー攻撃としてブロックし、その結果何人の人がサイトから追い出されたかはわかりません。ホストプロバイダーがスパイダーのクローリングをブロックしている場合は、待つ時間がないため、できるだけ早くホストを変更してください。

2. クモに邪魔される

1. ドメイン名の以前の所有者を確認し、ドメイン名が違法サイトとして使用されていないかどうかを確認します。もしそうなら、Maas の以前のフォーラムのドメイン名が liuhecai の Web サイトだったのと同じように、スパイダーがクロールしないのは当然のことです。今のところ、Sogou と Google のスパイダーはここに来たことがありません。

2. 自分のサイトと同じサーバー上のサイトをチェックして、重大な不正行為がないか確認します。不正行為があった場合、検索エンジンは IP サイト全体をブロックする可能性があります。自分の Web サイトを健全に開発するには、独立した IP を持つサーバーを選択することをお勧めします。

ウェブサイトのクロール ログにスパイダーの訪問が記録されていない場合は、サイトが上記の状況に該当するかどうかを検討し、適切なタイミングでクリーンアップする必要があります。次に、関連する検索エンジンに送信するか、高品質の外部リンクを使用してスパイダーのクローリングを誘導します。 （出典：Mas - Micro Internet http://www.ma4.net 転載の際は出典を明記してください）

元のタイトル: 分析: スパイダーが私のウェブサイトをクロールしない理由

キーワード: