BaiduのスパイダーがプレーンテキストのURLをクロールできることを示す証拠

以前、テキスト形式の URL は Web サイトの軽量化に効果的であると書きました。今日、プレーン テキストの URL が Baidu スパイダーを引き付ける可能性があるという証拠をようやく見つけました。

ご存知のとおり、Baidu Webmaster Platform はウェブマスター向けに公開されています。サイトマップの送信、デッドリンクの送信、ロボットのチェックなど、多くの便利な機能があります。あまり注目されていない機能として、サイトクロール例外クエリがあります。

時々、ウェブサイトのインクルードやその他の側面に異常が発生することがあります。このとき、ウェブサイトのログを分析して原因を特定する必要があります。このツールを使用すると、Baidu が Web サイトをクロールする際に発生したエラーを直接確認できるため、原因を見つけやすくなります。

今日確認したら、404 クロール エラーが見つかりました。 元々クロールされていたページは http://***.com/1227.html でしたが、最後に余分な「>」がありました。 理論上、このようなリンク エラーは発生しないはずです。

検索してみると、いくつかのウェブサイトが記事を転載した際に上記のような URL が表示され、それらはプレーンテキストの URL であることがわかりました。

Baidu は上記 URL をクロールし、> を URL の一部とみなしてクロールしたため、当然 404 エラーが発生していました。

この例から、Baidu はプレーンテキストの URL をクロールできることがわかります。これは SEO 担当者やインターネット実践者にとっては朗報です。

この記事はXiaoyao Blogからの引用です。この記事のアドレスはhttp://liboseo.com/1230.htmlです。転載の際は出典とリンクを明記してください。

原題: Baidu のスパイダーがプレーンテキストの URL をクロールできることを示す証拠

キーワード: 示す、Baidu、スパイダー、クロール、プレーンテキスト、URL、昔、記事を書いた、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、お金を稼ぐ