スパイダーはあなたのウェブサイトを嫌います。その理由をご存知ですか?

スパイダーがウェブサイトのコンテンツをうまく閲覧できない場合、ウェブサイトにどれだけ努力を注いでも無駄になってしまいます。このような事態を回避する最善の方法は、間違いなく、Web サイト全体の構造を徹底的に計画することです。

まず、ウェブサイトを構築する前に、スパイダークローリングのパターンとルールをよく理解しておく必要があります。検索エンジンはスパイダーという小さなロボットを使ってウェブサイトのソースコードを閲覧し、リンクをクローリングして情報を収集し、それを検索エンジンのデータベースに送信してウェブサイトのページを含める効果を実現すること、そしてスパイダーが特定のアルゴリズムのルールに従ってディレクトリの配置を生成すること、これらすべてを簡単に理解する必要があることは周知の事実です。

スパイダーが当社のウェブサイトのコンテンツをうまくスキャン、クロール、取得できれば、当社のウェブサイトの重み付けランキングは間違いなく大幅に向上します。当社のウェブサイトがスパイダーによってうまくクロールされるようにするために、エディターは、ウェブサイトのモードや構造レイアウトが多すぎると、ウェブサイトのコンテンツのクロールが悪くなるので、あまり多くしないことを推奨します。以下に、スパイダーが当社のウェブサイトを好まない一般的な理由を 5 つ挙げますので、ご参考ください。

1. ナビゲーションが複雑すぎる

多くのウェブサイトデザイナーや編集者がナビゲーション設計に頭を悩ませているのは、ナビゲーションウィザードの設定が複雑すぎることと、ウェブサイトがフルサイトリンクであり、ウェブサイト全体の重さとユーザーエクスペリエンスにとって極めて重要であることだと思います。スパイダーは通常、より複雑なコードをクロールするのが難しいか困難だと感じているため、複雑なナビゲーションは間違いなくスパイダーに多くの回り道をさせ、結果としてウェブサイトのインクルードが理想的ではなくなります。また、ユーザーにレイヤーごとにクリックさせるのは間違いなく時間の無駄であり、ユーザーは直接必要なコンテンツを見つけることができないため、複雑なナビゲーションはスパイダーとユーザーの両方にとって非常に不利です。

解決策: ユーザーが目的のコンテンツをすばやく見つけられるように、Web サイトのシンプルなナビゲーション構造を設計し、メイン ナビゲーションの下にドロップダウン ナビゲーションを追加して、3 番目と 4 番目のレベルの列を適切に反映できるようにします。

(ii) ウェブサイトには画像やスクリプトファイルのコンテンツが多すぎます。

検索エンジンのスパイダーは、テキストやスクリプトベースのコンテンツを解釈するために、いくつかの仮想ツールをクロールします。しかし、スパイダーにはフラッシュや画像コンテンツをクロールする方法がないため、これは間違いなく Web サイトの UI デザイナーにとって大きな問題となります。

解決策: 何らかの形式のコンテンツ変換により、ウェブサイトのコードが検索エンジン スパイダーによって認識されるようになります。また、検索エンジン スパイダー シミュレーション クローラーを使用してウェブサイトをクロールし、観察することもできます。クロール中に失われたりブロックされたりするコンテンツが多すぎる場合は、スパイダーをクロールするようにウィザードをリセットする必要があります。

（III）一貫性のないリンク操作を避ける。

ウェブサイトのリンクを設定するときは、名前を付ける際に細心の注意を払う必要があります。なぜなら、検索エンジンのスパイダーは人間と同じ判断や思考基準を持つことができないことは誰もが知っているからです。彼らは通常、URLに基​​づいて判断します。時には、2つの異なるコードコンテンツが同じURLにリンクされています。この場合、スパイダーはリンク先のページでどのコンテンツを表現したいのか、間違いなく混乱します。人間は多くの場合、これらのロジックを理解できますが、検索エンジンのスパイダーは結局十分に人間的ではないため、多くの場合、スパイダーが好む形式でリンクする必要があります。

スパイダーが判断できないコンテンツに誘導されないようにするには、リンクを指すコードに一貫性があり同一のものを使用し、リンクによって表現されるコンテンツが一意になるようにする必要があります。

(iv) ウェブサイトの誤ったリダイレクト。

これは、当社の Web サイトの 301 リダイレクトに設計されており、301 リダイレクトを使用してページ間を移動します。では、301 リダイレクトはいつ使用するのでしょうか。まず、その機能は、スパイダーがページをクロールしているときに、指定したページにジャンプすることであることを理解する必要があります。通常、ドメイン名リダイレクトを使用して、WWW のないページを WWW のあるページにリダイレクトします。実際にはそうではありません。コンテンツを公開するときに、誤って重複コンテンツを公開することがあり、検索エンジンがそのすべてのページを含めます。この時点で、削除することは絶対に不可能です。その場合、301 リダイレクトを使用して、あるページから別のページにジャンプできます。これは重複コンテンツとしてカウントされないだけでなく、重みも蓄積されます。これは間違いなく良い方法です。

(V) ウェブサイトマップが正しくありません。

ウェブサイトをうまくカバーしたい場合、ウェブサイト マップは、スパイダーがクロールしてすばやくキャプチャできるようにする重要なチャネルです。ただし、マップが間違っていると、ウェブサイトのクロールに非常に悪影響を及ぼします。したがって、マップの表示の正確性を確保する必要があります。もちろん、一般的な CMS バックグラウンドには独自のマップ生成機能があるため、通常は 1 回のクリックで生成します。もちろん、ウェブサイトがいくつかのプラットフォームで実行されている場合は、サイトマップを自動的に生成するプラグインをダウンロードする必要があります。それが機能しない場合は、HTML コードを使用してマップ ページを手動で作成し、作成後に検索エンジンに送信できます。

要約: 通常、スパイダーがウェブサイトを好まない理由は、ウェブサイトのコンテンツがオリジナルまたは収集されていないことに加えて、これらの5つの状況です。 もちろん、細かいエラーもありますが、結局のところ、各ウェブサイトの状況は異なるため、編集者は簡単な説明のためにより一般的な状況をリストすることしかできません。 この記事について異なる意見がある場合は、アドバイスを歓迎します。 さて、今日はここで終わりにします。 この記事は、もともとLehu.com http://www.6hoo.comのウェブマスターによって要約されました。 転載する場合は、出典を明記してください。 ありがとうございます。

元のタイトル: クモはあなたのウェブサイトを嫌います。その理由をご存知ですか?

キーワード: スパイダーはあなたのウェブサイトを嫌います、なぜか知っていますか、訪問できない場合、ウェブマスター、ウェブサイトのプロモーション、お金を稼ぐ