ウェブクローラーの書き方をステップバイステップで教えます（6）：分散クローラー

このシリーズ:

• 「Webクローラー作成ガイド（1）：NetEase Cloud Musicプレイリスト」
• 「Webクローラーの書き方を教える（2）: ミニクローラーのアーキテクチャ」
• 《Webクローラーの書き方をステップバイステップで教える（3）：オープンソースのクローラーフレームワークの比較》
• 《Webクローラーの書き方を教えます（4）：Scrapy入門》
• 「Web クローラーの書き方を教える (5): PhantomJS の実践」

[[230059]]

筆者は以前、「Who Am I – No System Is Safe」という映画を見たことがあります。映画の中のハッカーのボス「Who Am I」は、FBIや他のハッカー組織による追跡を避けるためにプロキシを使用して身を隠しました。

プロセス制御 – フェイルオーバー

Crawler_core マシンがクラッシュすると、データ回復手順が開始され、このマシンの未完了のタスクがすべてパブリック キャッシュに復元されます。