SEO チュートリアル: ウェブサイトのロボット ファイルを作成するときに覚えておくべき 5 つのこと

ウェブサイト ロボットとは何ですか? これはコマンドではなくプロトコルです。

ウェブサイトの SEO 最適化を研究したり、それに携わっている人は、検索スパイダーについて知っているはずですが、検索スパイダーが従うプロトコルについてはあまり耳にしません。 Robots は、Web サイトをクロールするときに最初に確認されるファイルです。これは、サーバー スペース上のどのファイルをクロールできるか、どのファイルをクロールする必要がないかをスパイダー プログラムに伝えるために使用されます。そのため、ロボットをうまく活用することで、ウェブサイトの権威性を高めることは容易です。では、どのように書けばよいのでしょうか。

1. ウェブサイト上の重複ページを避ける

多くのウェブサイトでは、同じコンテンツの複数の閲覧バージョンを提供しています。これはユーザーにとって非常に便利で、ユーザーエクスペリエンスを向上させますが、スパイダーにとってはプライマリとセカンダリを区別するのが難しいため、いくつかの問題を引き起こします。スパイダーが悪意を持って繰り返していると判断した場合、少なくとも彼らの権威は低下し、最悪の場合、彼らのサイトは追い出されます。

ユーザーエージェント: *

禁止: /sitemap/ 「スパイダーによるテキストページのクロールを禁止する」

続き：「恵州SEOブログKステーションの謎」（葉建輝もブログ開設当初は同様の問題でKステーションにされた。詳細はリンクを参照）

2. ウェブサイトのセキュリティを保護する

おそらく、大きな疑問を抱く人もいるでしょう。ロボットはウェブサイトのセキュリティとどのように関係しているのでしょうか? これはハッカーと関係があります。多くの低レベルのハッカーはデフォルトのバックエンドを検索してログインし、ウェブサイトに侵入するため、セキュリティを防ぐ必要があります。

ユーザーエージェント: *

許可しない: /admin/ 「スパイダーが管理ディレクトリ内のすべてのファイルをクロールするのを防ぐ」

参考文献：「WordPress プログラムのセキュリティ設定のヒント」（私も攻撃を受けたことがあるので、セキュリティ問題の詳細も無視できません。詳細については、Ye Jianhui のブログを参照してください）

3. リンクの盗難を防ぐ

一般的に、ホットリンクのケースは多くありませんが、検索エンジンが「ホットリンク」すると、100M のブロードバンドでも対応できなくなる可能性があります。そのため、画像サイトを運営しておらず、ホットリンクを避けたい場合は、ブロックすることができます。

ユーザーエージェント: *

許可しない:.jpg$

4. サイトマップを送信する

現在ウェブサイトのSEO最適化を行っている方なら、ウェブサイトマップの作成方法はご存知だと思いますが、提出方法がわからず、ウェブページにリンクを追加するだけで十分だと考えている方もいらっしゃいます。実際、ロボットには送信機能があります。恵州 SEO ブログを例に挙げてみましょう。

サイトマップ: http://www.huizhouseo.cn/sitemap_baidu.xml

サイトマップ: http://www.huizhouseo.cn/sitemap.html (サイトマップの「S」は大文字にする必要があります)

5. 特定の第2レベルドメイン名のクロールを禁止する

一部のウェブサイトでは、会員に VIP 特典サービスを提供していますが、これらのサービスを検索エンジンで検索されることは望んでいません (同様に、クロールする必要のない css や js などのセカンダリ ディレクトリ ファイルについても同様です)。

ユーザーエージェント: *

許可しない: /

上記の 5 つのロボットの指示は、SEO 初心者が検索エンジン スパイダーの制御を向上させるのに十分であると考えられます。Baidu が言ったように、検索エンジンと友達になる必要があるため、コミュニケーションを増やして、不要な障壁を排除する必要があります。この記事は、Huizhou SEO Blog の Ye Jianhui 氏による寄稿です http://www.huizhouseo.cn/seojichu/766.html。転載する場合は、出典を明記してください。

元のタイトル: SEO チュートリアル: ウェブサイトのロボット ファイルを作成するときに注意すべき 5 つの点

キーワード: ロボット ファイル、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化