以前、robots.txt ファイルの書き方について記事を書きましたが、実際に観察してみると、一部の友人はまだ robots.txt ファイルのルールについて誤解しているようです。 たとえば、多くの人が次のように書いています。
このルールが実際には効果がないということに気付いたかどうかはわかりません。最初の文 Allow: / はスパイダーがすべてのコンテンツをクロールすることを許可することを意味し、2 番目の文 Disallow: /mulu/ は /mulu/ の下にあるすべてのコンテンツを禁止することを意味します。 表面的には、このルールの目的は、スパイダーが /mulu/ を除く Web サイトのすべてのページをクロールできるようにすることです。 ただし、検索エンジンのスパイダーはルールを上から下に実行するため、2 番目のコマンドは無効になります。 正しいルールは次のようになります。
つまり、まず禁止コマンドを実行し、その後に許可コマンドを実行することで無効にならないようにします。 さらに、Baidu スパイダーが犯すもう 1 つの一般的な間違いは、Disallow コマンドと Allow コマンドがスラッシュ / で始まる必要があるため、次のように記述する人がいることです: Disallow: *.html これは Baidu スパイダーでは間違っており、次のように記述する必要があります: Disallow: /*.html 。 こうしたルールを記述するときに、気づかない問題が発生することがあります。Baidu Webmaster Tools (zhanzhang.baidu.com) と Google Webmaster Tools を使って、これらのルールをテストできるようになりました。 比較的言えば、Baidu Webmaster Tools のロボット ツールは比較的シンプルです。 Baidu Robots ツールは、各コマンド行が文法規則に準拠しているかどうかを検出することしかできず、実際の効果やクロール ロジック ルールは検出できません。 比較すると、図に示すように、Google の Robots ツールの方がはるかに使いやすいです。 Google ウェブマスター ツールではクローラ権限と呼ばれ、Google がサイトのページをクロールするときにブロックされる URL の数を報告します。 Robots の変更の効果をオンラインでテストすることもできます。もちろん、ここでの変更はテスト用です。問題がなければ、robots.txt ファイルを生成するか、コマンド コードを robots.txt テキスト ドキュメントにコピーして、Web サイトのルート ディレクトリにアップロードすることができます。 Google のテストは Baidu のテストとは大きく異なります。1 つ以上の URL を入力して、Google スパイダーがこれらの URL をクロールできるかどうかをテストできます。 テスト結果は、Google スパイダーによるこれらの URL のクロール状況です。このテストは、Robots ファイルのルールが特定の URL に対して有効かどうかを確認するためのものです。 もちろん、2 つのツールを組み合わせる方がよいでしょう。これで、ロボットの書き方を完全に理解できたはずです。 転載の際は、小夜ブログの記事であることを明記してください。この記事のアドレスは、http://liboseo.com/1170.html です。 特に指定がない限り、Xiaoyao Blog のすべての記事はオリジナルです。転載する場合は出典とリンクを明記してください。 元のタイトル: Robots.txt ルールの誤解と Baidu および Google ロボット ツールの使用に関する分析 キーワード: 分析、Robots.txt、誤解、Baidu、Googlerobo、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化 |
<<: 1か月でウェブサイトのキーワードをランク付けする方法
ホストユンはどうですか? hostyun 韓国 VPS はどうですか? Hostyun は、月額 1...
みなさんこんにちは。私の名前はLiang Lei、オンライン名はStoneです。最近、百度は多くのウ...
desivps が LosAngelesVPS を買収してからしばらく経ちました。以前の LosAn...
今後 18 か月以内にエッジ コンピューティング ソリューションを導入し、モノのインターネット (I...
2017年12月11日、第2回全国インテリジェント製造(中国製造2025)イノベーション・起業家コン...
Pacificrack は、米国のマルチ IP SEO サーバーを更新しました。米国のマルチ IP ...
出会い系サイトを利用するときは、注意が必要です。 写真:張志記者 陳瓊克上海の女性、シャオリンさん(...
皆さんはphotonvpsをご存知でしょうか?それが、みんながFantong VPS(KVM仮想化ベ...
最近、関係省庁や委員会は、デジタル変革やその他の関連業務をガイドするための文書を集中的に発行していま...
今日、AIGC は間違いなく最もホットな話題の 1 つです。国内外の大手テクノロジー企業もこれに追随...
ショートビデオ、セルフメディア、インフルエンサーのためのワンストップサービスWeiboマーケティング...
当初、多くの部下から「シャオ・ジャンはどうやってSEOをすればいいの?」と聞かれました。本当に毎日い...
このシリーズ: 「Webクローラー作成ガイド(1):NetEase Cloud Musicプレイリス...
著者は現在、医療ウェブサイトを最適化しており、医療業界のウェブサイトについていくつかの意見を持ってい...
ホスティング業界で有名なブランドであるHostgatorが、「ブラックフライデー」と「サイバーマンデ...