誰もがウェブサイト上の robots.txt ファイルの役割を知っていますが、観察してみると、一部の友人が robots.txt ファイルのルールについてまだ誤解していることがわかります。 たとえば、多くの人が次のように書いています。 ユーザーエージェント: * 許可する: / 禁止: /mulu/ このルールが実際には効果がないということに気付いたかどうかはわかりません。最初の文 Allow: / はスパイダーがすべてのコンテンツをクロールすることを許可することを意味し、2 番目の文 Disallow: /mulu/ は /mulu/ の下にあるすべてのコンテンツを禁止することを意味します。 表面的には、このルールの目的は、スパイダーが /mulu/ を除く Web サイトのすべてのページをクロールできるようにすることです。ただし、検索エンジンのスパイダーはルールを上から下に実行するため、2 番目のコマンドは無効になります。 正しいルールは次のようになります。 ユーザーエージェント: * 禁止: /mulu/ 許可する: / つまり、まず禁止コマンドを実行し、その後に許可コマンドを実行することで無効にならないようにします。さらに、Baidu スパイダーが犯すもう 1 つの一般的な間違いは、Disallow コマンドと Allow コマンドがスラッシュ / で始まる必要があるため、次のように記述する人がいることです: Disallow: *.html これは Baidu スパイダーでは間違っており、次のように記述する必要があります: Disallow: /*.html 。 こうしたルールを記述するときに、気づかない問題が発生することがあります。Baidu Webmaster Tools (zhanzhang.baidu.com) と Google Webmaster Tools を使って、これらのルールをテストできるようになりました。比較的言えば、Baidu Webmaster Tools のロボット ツールは比較的シンプルです。 Baidu Robots ツールは、各コマンド行が文法規則に準拠しているかどうかを検出することしかできず、実際の効果やクロール ロジック ルールは検出できません。 比較すると、図に示すように、Google の Robots ツールの方がはるかに使いやすいです。 Google ウェブマスター ツールではクローラ権限と呼ばれ、Google がサイトのページをクロールするときにブロックされる URL の数を報告します。 Robots の変更の効果をオンラインでテストすることもできます。もちろん、ここでの変更はテスト用です。問題がなければ、robots.txt ファイルを生成するか、コマンド コードを robots.txt テキスト ドキュメントにコピーして、Web サイトのルート ディレクトリにアップロードすることができます。 Google のテストは Baidu のテストとは大きく異なります。1 つ以上の URL を入力して、Google スパイダーがこれらの URL をクロールできるかどうかをテストできます。 テスト結果は、Google スパイダーによるこれらの URL のクロール状況です。このテストは、Robots ファイルのルールが特定の URL に対して有効かどうかを確認するためのものです。もちろん、2 つのツールを組み合わせる方がよいでしょう。これで、ロボットの書き方を完全に理解できたはずです。 転載の際は、Xiaoyao Blogからの転載であることを明記してください。この記事のアドレスは、http://liboseo.com/1170.htmlです。転載の際は、出典とリンクを明記してください。 元のタイトル: ロボットのルールと Google および Baidu ロボット ツールの使用に関するよくある誤解 キーワード: ロボット、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化 |
<<: 高品質なコンテンツと外部リンクを構築するときに注意すべき点
>>: 内部 SEO で独創性と独自性を強化するためのパーソナライズされた方法
[[275905]] 1. JVM メモリ割り当てと定数プールString クラスを紹介する前に、J...
[[398367]]この記事はWeChatの公開アカウント「プログラマーjinjunzhu」から転載...
netfirms.com [EIGのブランド、逃げる心配なし、ドメイン名の移転の心配なし] 最新のプ...
A5ウェブマスターネットワーク(www.admin5.com )は4月11日、ビットコイン取引プラッ...
11 月 23 日、Hostus はいくつかの新しいデータ センターで最初の VPS プロモーション...
低価格のVPSブランドhostyunは最近、英国ロンドンのデータセンターに、英国固有のIPを持ち、中...
2018年は中国のクラウドコンピューティング業界にとって転換点となる年です。政策、産業、資本の全面的...
Semoweb は、仮想ホスティング、再販業者、VPS、サーバーなど、多くのビジネスを展開する 20...
著者: Yu Shidan、Aruba China テクニカル セールス ディレクター近年、中小企業...
昨日、テンセントは正式に今日頭条を訴え、両者の戦いは新たな段階に入りました。Douyinと今日頭条の...
クラウド コンピューティングは成熟度が高まっていますが、それをより困難にしたり、コストを増大させたり...
北京から記者の唐勲芳が報告します電子商取引はオフラインで「反撃」し始めた。 1月10日、本紙記者はQ...
マイクロサービス アーキテクチャは IT 業界の様相を変えています。今後数年間で、ほとんどのアプリケ...
鉄閣は以前から、現在のインターネット企業の中で、WeChatが最もオープンな製品になる可能性を常に感...
【TechWeb Report】7月22日、Taobaoは偽造品販売に関する最新の管理規則を発表した...