Baiduスパイダークローリングの簡単な分析

最近はWebサイトや商品のプロモーションに携わっています。分からないことも多いのですが、プロモーション関連の用語の中には、とても魅力的なものが多くあります。まず、SEOについてお話しましょう。SEOを理解する過程で、「外部リンク」に出会いました。外部リンクについて学んでいるときに、「スパイダークローリング」にも遭遇しました。一度にたくさんの情報が得られ、とても魔法のように感じました。SEOは確かに簡単なことではありません。

今日は「蜘蛛の巣」という言葉についてお話ししたいと思います。私は後発なので、このことを言及するのは私が初めてではないと思いますが、私の説明によって、より多くの人がこの用語を理解できるようになることを願っています。結局のところ、多くの専門的な紹介は非常に専門的であり、専門的すぎるために、人々は理解できないと感じるのです。

まず、Baidu の包含について紹介します。インターネットの世界には、非常に多くのウェブサイトがあり、そのウェブサイトには、60 億人を超える私たち人間と同じように、無数のウェブページが含まれています。そうですね、ジャッキー・チェン、ブルース・リー、マイケル・ジャクソンなど、世界に非常に影響力のある人もいますが、私たちのような無名の人間はとても謙虚です。世の中に多大な貢献をした人は、当然有名になります。つまり、インターネットで「貢献した」人は、百度に含まれます。含まれているのは、そのネットワークアドレスです。非常に名誉ある形で含まれていれば、百度検索の見出しに表示されることもあり、見出しは常に注目の的になります。誰もがこのポジションを競い合いたいからこそ、SEO（検索エンジン最適化）が生まれたのです。

そして、収集した内容は整然とライブラリに格納されます。このライブラリは、インターネットの世界では「データベース」というよく知られた名前を持っています。データベースの原理については、あまり説明しません。ここでは、主に、特定の形式でデータを保存または記録するものであること、誰もが知っています。「スパイダークローリング」はこれを使用します。 「スパイダー」についてお話ししましょう。もちろん、日常生活で目にするスパイダーではありません。簡単に言えば、コンピュータープログラムです。クローリングプロセスはアルゴリズムを実行するプロセスです（文面からすると、日常の計算プロセスとして単純に理解することはできず、その意味は活動の計画プロセスに相当します）。最近、Baiduは検索アルゴリズムを変更したようですが、どのように変更されたのかをゆっくりと理解しましょう。

「スパイダークローリング」は、より鮮明な言い方で説明することができます。垂直クローリングと水平クローリングがあり、コンピューターの専門用語では深さトラバーサルと幅トラバーサルです。トラバーサルするコンテンツは、大小のウェブサイトまたはウェブページです。トラバーサルの後、スパイダーはウェブページを積極的にダウンロードし、ダウンロードしたウェブページをさまざまなプログラムで計算した後、検索領域に配置します。そうして初めて安定したランキングが形成され、それがBaiduのデータベースに含まれ、最終的にBaiduウェブページに表示されます。ここで、Baidu は 1 匹の「スパイダー」だけではなく、複数、あるいは 10 匹、100 匹、1,000 匹、あるいは数万匹、数十万匹の「スパイダー」を送り出します。つまり、数が多くなければならないということです。ここでスパイダーを送り出すことを、コンピューター用語では「スレッド」と呼びます。明らかに、複数のスパイダーは複数のスレッドであり、マルチスレッド検索はより効率的になります。複数の「スパイダー」が一緒に検索する場合は幅検索であり、1 つの「スパイダー」が特定のルールに従う場合は深さ検索です。ウェブページの検索は深さ優先と幅優先です。Baiduスパイダーがページをクロールするときは、開始サイト（シードサイトは一部のポータルサイトを指します）から開始し、より多くのURLをクロールするために幅優先でクロールします。深さ優先クロールの目的は、高品質のウェブページをクロールすることです。この戦略は、スケジューリングによって計算および割り当てられます。Baiduスパイダーはクロールのみを担当します。重み付け優先順位とは、より多くの逆リンクを持つページを優先的にクロールすることを指します。これもスケジューリング戦略です。通常の状況では、ウェブページの40％をクロールするのは正常で、60％は非常に良好で、100％は不可能です。もちろん、クロールするほど良いです。学習の過程で、スパイダークローリングのセキュリティを紹介する記事に出会いました。その記事では、スパイダーは一般的にこれらのウェブサイトを優先的に巡回し、ネットワークの抜け穴を自動的に回避して罠にかからないようにすると紹介されていました。これはとても興味深かったです。この記事には、「動的なウェブサイトにはデッドループがあり、スパイダーが一度入ると抜け出せない可能性があるため、静的なウェブサイトを優先的に巡回する」と書かれていたとぼんやりと覚えています。ただし、スパイダーの検索プロセスでは通常、まずウェブサイトのセキュリティをチェックし、破壊的なアクションを見つけたらそれを回避します。これは検討する価値があると思います。動的な Web サイトを構築する過程では、Web サイトに抜け穴が生じないようにプログラム コードを厳密に管理し、最終的にはスパイダーが侵入できないようにする必要があります。

今日はここまでです。不十分な点がたくさんあるので、訂正していただければ幸いです。転載の際は出典を添えてください: Asia Ceramic Mall: www.asiachinachina.com

原題: Baidu スパイダークローリングの簡単な分析

キーワード: Baidu Spider、インターネットプロモーション、SEO、アジアンセラミックス、ウェブマスター、ウェブサイト、ウェブサイトプロモーション、収益化