スパイダーがあなたのウェブサイトを訪問しない理由をご存知ですか?

私のように、多くのウェブマスターは毎日ウェブサイトのログをチェックする習慣があり、ログを分析して、スパイダーがウェブサイトをクロールしてグラブしている状況を把握していると思います。もちろん、このプロセスでは、通常、スパイダーが毎日ウェブサイトをクロールする回数を単純に見ています。この時点から、ウェブサイトの健全性を直感的に確認できます。しかし、多くのウェブマスターにとって、自分のウェブサイトは非常に完璧だと感じていますが、スパイダーがクロールしてグラブしないのは、間違いなくウェブマスターにとって大きな打撃です。そこで、今日は特に、スパイダーがウェブサイトにアクセスしない理由をいくつか整理し、以下で皆さんと共有します。

（１）ウェブサイトにはフラッシュや画像が多すぎます。

大手検索エンジンは、特に近年、アルゴリズムを絶えず更新しているため、かなり賢くなったと言わざるを得ません。たとえば、2011年にGoogleは画像検索機能を開始しました。これにより、画像からソースWebページのアドレスを見つけることができます。しかし、結局のところ検索エンジンであり、まだ大きなギャップがあります。しかし、現在、多くのウェブマスター、特に企業サイトは、自社の製品をアピールするために、ウェブサイトに大量のフラッシュや画像を埋め込んでいます。しかし、検索エンジンのスパイダーはフラッシュや画像ファイルをクロールできないことは誰もが知っているので、コンテンツが優れていても、スパイダーはクロールできません。したがって、画像やフラッシュを大量に含む Web サイトの場合、スパイダー クローリングをシミュレートするツールを使用して独自の Web サイトを検出し、これがスパイダーが Web サイトにアクセスしない理由であるかどうかを確認することをお勧めします。

（２）ウェブサイト上には多数のリンク切れがある。

スパイダーが喜んで私たちのウェブサイトを訪問するたびに、私たちのウェブサイトの各リンクのソースコードをクロールし、新鮮で良いコンテンツが見つかると思っても、多くのデッドリンクがそれを待っていて、それが1回、2回、3回起こると想像してください。スパイダーはあなたのウェブサイトに良い評価を与え、あなたのウェブサイトのコンテンツを再びクロールすると思いますか？私のウェブサイトwww.qqya.ccと同じように、当時は大量の404ページがスパイダーによってクロールされ、ウェブサイトのコンテンツのそのセクションが検索エンジンに含まれませんでした。そこで後になって、編集者はスパイダーがクロールしたページにウェブサイトのログにステータスコード404のページが含まれていることを発見し、突然それに気づき、すぐにこれらの404ページをクリアしてブロックし、その間に大量の外部リンクを送信しました。その後、ウェブサイトのスパイダーのクロールとクロールは正常になりました。

（３）ウェブサイトの外部リンクとnofollowタグ

スパイダーが頻繁にウェブサイトを訪問する理由の大部分は、外部リンクの魅力によるものだと私は考えています。したがって、時間を無駄にしないためにも、外部リンクのフレンドリーさを頻繁に観察する必要があります。このとき、多くのウェブマスターが、なぜこう言うのか、外部リンクの友好度をどのように判断するのかと尋ねると思います。ここでは、エディターがこれを行います。スパイダーが毎日ウェブサイトを訪問する回数を確認することに加えて、スパイダーの入り口も確認する必要があります。これらの入り口を通じて、私たちが作成した外部リンクが価値があるかどうかを判断できます。このようにして、毎日要約を作成し、有効な外部リンクを記録することができます。そして、時間の経過とともに、独自の外部リンクリソースライブラリを構築します。もちろん、これらのデータから、nofollowタグ付きの外部リンク（Baidu Experienceなど）など、どの外部リンクが役に立たないかを判断することもできます。このようなことは、将来的には行わないほうがよいでしょう。無駄だからです。

(IV) ウェブサイトには複雑なコードと構造があります。

ご存知のとおり、スパイダーはウェブサイトのソースファイルコードを通じてウェブサイトにアクセスします。そのため、この時点でウェブサイトのコードを最適化する必要があり、長いコードはウェブサイトにとって意味がなく、ウェブサイトの起動速度にも影響し、スパイダーを嫌がらせます。さらに、これらの構造はスパイダークローリングに適していません。スパイダーは通常、最初にウェブサイトのホームページにアクセスし、次にクロール列に移動し、コンテンツをクロールするためです。ただし、スパイダーによるこのようなアクティビティの回数は通常 3 回に制限されています。したがって、複雑すぎて重量が軽いウェブサイトは、スパイダークローリングに適していません。

(V) ウェブサイトマップが正しくありません。

サイト マップは、スパイダーが Web サイトの全体構造をすばやく理解できるようにするページです。優れたサイト マップは、スパイダーがクロールするための簡単なエントリを提供します。もちろん、リンク切れが大量にある間違ったマップであれば、ウェブサイト全体のクロール状況を台無しにしてしまうことは間違いないので、ウェブサイトマップを作成する際には注意が必要です。

要約: 実際、上記の理由に加えて、スパイダーが当社のウェブサイトにアクセスしない理由は他にもたくさんあります。たとえば、違法コンテンツ、大量の収集コンテンツ、ポルノや悪意のある情報など、すべてが検索エンジンスパイダーによる当社のウェブサイトのクロールを妨げる可能性があります。したがって、具体的な詳細な問題については、当社自身のウェブサイトログに基づいて独自の判断を下す必要があります。今日はこれで終わりです。この記事は、http://www.name2012.com/ のウェブサイト所有者によって最初に共有されました。転載する場合はリンクを含めてください。ありがとうございます。

元のタイトル: スパイダーがあなたのウェブサイトを訪問しない理由をご存知ですか?

キーワード: スパイダー、訪問しない、ウェブサイトについて尋ねる、理由、明確かどうか、信じる、複数のサイト、長さ、編集者、同じ、ウェブマスター、ウェブサイト、ウェブサイトの宣伝、お金を稼ぐ