ロボットのルールに関するよくある誤解と、Google と Baidu のロボット ツールの使い方

ロボットのルールに関するよくある誤解と、Google と Baidu のロボット ツールの使い方

誰もがウェブサイト上の robots.txt ファイルの役割を知っていますが、観察してみると、一部の友人が robots.txt ファイルのルールについてまだ誤解していることがわかります。

たとえば、多くの人が次のように書いています。

ユーザーエージェント: *

許可する: /

禁止: /mulu/

このルールが実際には効果がないということに気付いたかどうかはわかりません。最初の文 Allow: / はスパイダーがすべてのコンテンツをクロールすることを許可することを意味し、2 番目の文 Disallow: /mulu/ は /mulu/ の下にあるすべてのコンテンツを禁止することを意味します。

表面的には、このルールの目的は、スパイダーが /mulu/ を除く Web サイトのすべてのページをクロールできるようにすることです。ただし、検索エンジンのスパイダーはルールを上から下に実行するため、2 番目のコマンドは無効になります。

正しいルールは次のようになります。

ユーザーエージェント: *

禁止: /mulu/

許可する: /

つまり、まず禁止コマンドを実行し、その後に許可コマンドを実行することで無効にならないようにします。さらに、Baidu スパイダーが犯すもう 1 つの一般的な間違いは、Disallow コマンドと Allow コマンドがスラッシュ / で始まる必要があるため、次のように記述する人がいることです: Disallow: *.html これは Baidu スパイダーでは間違っており、次のように記述する必要があります: Disallow: /*.html 。

こうしたルールを記述するときに、気づかない問題が発生することがあります。Baidu Webmaster Tools (zhanzhang.baidu.com) と Google Webmaster Tools を使って、これらのルールをテストできるようになりました。比較的言えば、Baidu Webmaster Tools のロボット ツールは比較的シンプルです。

Baidu Robots ツールは、各コマンド行が文法規則に準拠しているかどうかを検出することしかできず、実際の効果やクロール ロジック ルールは検出できません。

比較すると、図に示すように、Google の Robots ツールの方がはるかに使いやすいです。

Google ウェブマスター ツールではクローラ権限と呼ばれ、Google がサイトのページをクロールするときにブロックされる URL の数を報告します。

Robots の変更の効果をオンラインでテストすることもできます。もちろん、ここでの変更はテスト用です。問題がなければ、robots.txt ファイルを生成するか、コマンド コードを robots.txt テキスト ドキュメントにコピーして、Web サイトのルート ディレクトリにアップロードすることができます。

Google のテストは Baidu のテストとは大きく異なります。1 つ以上の URL を入力して、Google スパイダーがこれらの URL をクロールできるかどうかをテストできます。

テスト結果は、Google スパイダーによるこれらの URL のクロール状況です。このテストは、Robots ファイルのルールが特定の URL に対して有効かどうかを確認するためのものです。もちろん、2 つのツールを組み合わせる方がよいでしょう。これで、ロボットの書き方を完全に理解できたはずです。

転載の際は、Xiaoyao Blogからの転載であることを明記してください。この記事のアドレスは、http://liboseo.com/1170.htmlです。転載の際は、出典とリンクを明記してください。

元のタイトル: ロボットのルールと Google および Baidu ロボット ツールの使用に関するよくある誤解

キーワード: ロボット、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化

<<:  高品質なコンテンツと外部リンクを構築するときに注意すべき点

>>:  内部 SEO で独創性と独自性を強化するためのパーソナライズされた方法

推薦する

JVM メモリ割り当てと一般的な文字列メソッド

[[275905]] 1. JVM メモリ割り当てと定数プールString クラスを紹介する前に、J...

Kubernetes スレーブ ノードが参加に失敗するのはなぜですか?

[[398367]]この記事はWeChatの公開アカウント「プログラマーjinjunzhu」から転載...

netfirms-25% オフ/35% オフ/全商品

netfirms.com [EIGのブランド、逃げる心配なし、ドメイン名の移転の心配なし] 最新のプ...

毎日の話題:Bitcoin.comは次々とアカウントの閉鎖を求められ、ビットコイン取引プラットフォームは悲しみに暮れている

A5ウェブマスターネットワーク(www.admin5.com )は4月11日、ビットコイン取引プラッ...

Hostus - ロンドンのデータセンター、10G ポート、最も安い VPS の簡単なレビュー

11 月 23 日、Hostus はいくつかの新しいデータ センターで最初の VPS プロモーション...

英国ロンドンのネイティブ IP を備えた Hostyun の VPS (China Unicom AS9929) の簡単なレビュー

低価格のVPSブランドhostyunは最近、英国ロンドンのデータセンターに、英国固有のIPを持ち、中...

クラウドコンピューティング、ビッグデータ、人工知能は互いに補完し合う

2018年は中国のクラウドコンピューティング業界にとって転換点となる年です。政策、産業、資本の全面的...

semoweb 第2世代 VZ/高速VPS/ロサンゼルス/QuadraNetデータセンター

Semoweb は、仮想ホスティング、再販業者、VPS、サーバーなど、多くのビジネスを展開する 20...

HPE Aruba Networking: 中小企業の発展を促進する4大クラウドネットワーク管理

著者: Yu Shidan、Aruba China テクニカル セールス ディレクター近年、中小企業...

テンセントVS今日頭条 - モバイルインターネット時代の最後の戦いか?

昨日、テンセントは正式に今日頭条を訴え、両者の戦いは新たな段階に入りました。Douyinと今日頭条の...

クラウド移行の8つの課題

クラウド コンピューティングは成熟度が高まっていますが、それをより困難にしたり、コストを増大させたり...

ホームファニシング電子商取引Qijia.comがオフラインで反撃:Oriental Homeの19店舗を買収

北京から記者の唐勲芳が報告します電子商取引はオフラインで「反撃」し始めた。 1月10日、本紙記者はQ...

コンテナ化されたマイクロサービスが企業にもたらすメリット

マイクロサービス アーキテクチャは IT 業界の様相を変えています。今後数年間で、ほとんどのアプリケ...

テンセントはWeChat開発者を追い詰めた

鉄閣は以前から、現在のインターネット企業の中で、WeChatが最もオープンな製品になる可能性を常に感...

タオバオは史上最も厳しい偽造品対策規則を制定しました。悪意を持って偽造品を販売する店舗は直ちに閉鎖されます。

【TechWeb Report】7月22日、Taobaoは偽造品販売に関する最新の管理規則を発表した...