検索エンジン スパイダーのクロールのルールを調べる: 外部リンクはタイムリーですか?

「検索エンジン スパイダーのクロール ルールの調査: スパイダーがリンクをクロールする方法」を書き終えてから 20 日以上が経ちました。書き続けたいと思っていましたが、最初の記事を書き終えた後、突然アイデアが尽きてしまいました。今日は、外部リンクの適時性、つまり外部リンクが無効になるかどうかについて友人と話しました。

この記事では理論的な内容については説明しませんが、最初の記事を証明するためにいくつかの例を示し、リンクの適時性についても説明します。

まず、外部リンクがあるページが削除されました。外部リンクは有効ですか?

リンクが配置されているページが削除された場合でも、回答は有効です。証拠は次のとおりです。

BlogChina の私のブログ (おそらく 2006 年に過度のアクセスのため削除されました) はずっと前に削除されましたが、Baidu にはまだスナップショットが残っています。今日確認したところ、ホームページのスナップショットは消えていましたが、記事ページはまだ存在していました。スナップショットの日付を見ると、2006 年またはそれ以前のものであることがわかります。

つまり、ページは 5 年間削除されていますが、Baidu のスナップショットは削除されていません。それでは、スパイダーがその中のリンクをクロールすると思いますか?

クロールされるはずだと思い、Blog.com の私のブログにはドメイン A へのリンクがあります。その時は、ブログのホームページにジャンプするだけにしました。その後、ドメイン名 A を使用してブログを開始したところ、すぐにかなりの注目を集め、記事が数秒で簡単に収集されるようになりました。 5年前のこのつながりが重要な役割を果たしたと信じています。

次に、検索エンジンに外部リンクが配置されているページのスナップショットがない場合、外部リンクは有効でしょうか?

その答えは多くの人を驚かせるかもしれません。外部リンクが配置されているページは、スナップショットがなくても有効な場合があります。その理由は、私が「スパイダーがリンクをクロールする方法」という記事で書いた内容にあります。ページをクロールした後、スパイダーはコンテンツとリンクを分離します。リンク、つまり URL は URL インデックス ライブラリに追加され、スパイダーのクロールはこの URL インデックス ライブラリから開始されます。

まずは証拠を見てみましょう。この証拠は Google ウェブマスター ツールから得たものです。

このスクリーンショットは、Google ウェブマスター ツールのトラブルシューティングの 404 レポートからのものです。以前は元の Web サイトの下に BBS を設定していましたが、もちろん N 年前に削除されました。しかし、Google スパイダーによってキャプチャされたこの存在しないページのソース アドレスも存在しないページです。ただし、Google で検索すると、これらのページのスナップショットは表示されません (以下を参照)。つまり、長い間 404 だったページのアウトバウンド リンクはまだ有効だということですか?

3 番目に、外部リンクは検索エンジンにとってタイムリーなものですか?

明らかに、時間に敏感であるべきです。次に、外部リンクが無効である理由を推測します。外部リンクがあるページが削除されているか、リンクが削除されているかの 2 つの理由が考えられます。

1. 削除されたページの場合、検索エンジンは、一定期間ページが 404 になるまでこのページの外部リンクをクロールし続け、その後、検索エンジンの URL インデックス ライブラリに外部リンクを削除するコマンドを送信します。

2. ページ変更の場合、検索エンジンは外部リンクを含むスナップショットが検索エンジン内で完全に削除されるまで外部リンクもクロールし、URL インデックス ライブラリに外部リンクを削除するコマンドが送信されます。外部リンクのあるページは状況に応じて N 期間のスナップショットを保存するため、異なる単語を検索すると Web ページのスナップショットが異なる場合があります。

つまり、外部リンクには期限がありますが、リンクの変更やページの削除は無効になるわけではありません。もちろん、検索エンジン内部では複雑な計算が行われており、プロセスは私が言ったほど単純ではありません。異なる意見がある場合は、この記事の下にメッセージを残していただき、お互いに議論しましょう。

転載の際は、Xiaoyao Blogの記事であることを明記してください。この記事のアドレスは、http://liboseo.com/1111.htmlです。

著作権を尊重し、転載の際は出典とリンクを明記してください。

関連記事: 検索エンジンスパイダーのクロールルールの探究: スパイダーがリンクをクロールする方法

元のタイトル: 検索エンジン スパイダーのクロールのルールを探る 2: 外部リンクはタイムリーですか?

キーワード: 検索、エンジン、スパイダー、クロール、ルール、探索、外部リンク、適時性、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化