一般的な分散ファイルシステムの包括的なレビュー。ビッグデータを理解したいなら、ストレージから始めましょう

[[239139]]

ビッグデータの最初の層はストレージです。効率的にアクセスできる分散システムにデータを保存するだけで、作業効率を向上させることができます。エディターでは、次の一般的な分散ファイル システムについて説明します。

光沢

Lustre は非常に安全で大規模な分散ファイル システムです。これは最初に CFS (Cluster File System Inc.) によって開発され、最初のバージョンは 2003 年に CFS、HP、Intel によってリリースされました。今ではすっかり成熟しました。ストレージ容量は通常 PB から始まり、サポートされるノードの数は数万に達することがあります。ただし、装備には特別な要件があります。

ハードウェア

HDFS は、以前に紹介した Hadoop の組み込み分散ファイルシステムです。 HDFS の最大の利点は価格が安いため、広く利用されています。また、高い信頼性と高い耐障害性により、ユーザーからの信頼も非常に高まります。 HDFS のストレージ レベルは PB を超えていますが、小さなファイルが多すぎる状況には対応できません。

量子金融システム

QFS は、大量のデータを効率的に順次読み書きするという問題を解決するように設計されている点で HDFS に似ています。ただし、QFS はパフォーマンスの点で HDFS を上回り、読み取りと書き込みの効率が全体的に 60% 以上向上します。 QFS はまだ比較的ニッチな技術であり、広範囲にテストされていないため、大規模な本番環境では使用できません。

グラスターFS

GlusterFS も PB レベルのクラスター ファイル システムです。そのアイデアは、クラスター内のすべてのサーバーのストレージスペースを大規模なネットワーク システムに集約することです。このアプローチの最大の特徴は、分散化されており、単一障害点がないことです。

アルクシオ

Alluxio はメモリベースの分散ファイルシステムとしては初となるため、その応答速度は通常の分散ファイルシステムを大幅に上回ります。たとえば、HDFS はそれよりも数百倍遅くなります。 Alluxio と Spark も良好な相互作用があります。最も重要なことは、Alluxio は中国人によって開発されており、ドキュメントはすべて中国語であることです。これは、長い間英語のドキュメントに悩まされてきた人にとっては間違いなく朗報です。

一般的な分散ファイルシステムの包括的なレビュー。ビッグデータを理解したいなら、ストレージから始めましょう

セフ

Ceph は、単一障害点のない分散ファイルシステムでもあります。各 Ceph ノードには、ノードのデータ情報を計算するために使用される少量のリソースがあり、それによって優れた負荷分散が実現されます。

PVFS

PVFS は、rm、dd、cat などの Linux のネイティブ コマンドとツールを適切にサポートできる並列仮想ファイル システムです。ただし、PSFS には単一の管理ノードがあるため、単一障害点があり、起動後に柔軟に変更することはできません。