オープンソースのクラウドネイティブ分散ファイルシステム - JuiceFS

最もよく知られている分散ファイルシステムは HDFS です。その正式名称はHadoop Distributed File System で、Hadoop テクノロジースタックが普及しているときに輝きます。クラウドコンピューティングが成熟するにつれて、データをクラウドに移行することがトレンドになってきました。ただし、オブジェクトストレージとファイルストレージの構造が異なるため、クラウドにビッグデータを保存すると、クエリパフォーマンスが遅くなったり、データの一貫性を確保できなかったりするなど、多くの問題が発生します。

本日ご紹介するのは、クラウド環境向けに設計されたファイルシステムです。 JuiceFS は、「データ」と「メタデータ」を分離するプラグインアーキテクチャを採用した、クラウドネイティブの高性能分散ファイルシステムです。ユーザーは、シナリオの要件に応じて適切なメタデータとデータエンジンを選択できます。 JuiceFS を使用してデータを保存する場合、データ自体はオブジェクトストレージ (Amazon S3 など) に永続化され、対応するメタデータは、必要に応じて Redis、MySQL、TiKV、SQLite などの複数のデータベースに保存できます。

JuiceFS は 2021 年 1 月に GitHub でオープンソース化されました。1 年半で 6.5K スターを獲得し、インフラ分野で注目度の高いプロジェクトとなっています。 JuiceFS は Aache 2.0 ライセンスを使用しているため、ユーザーは JuiceFS をさまざまなビジネス環境により自信を持って適用し、独自のアプリケーションと統合できます。 JuiceFS は、AI コンポーネント Fluid と PaddlePaddle で確認できます。

特性

POSIX 互換性: ローカルファイルシステムのように使用し、既存のアプリケーションとシームレスに統合し、ビジネスに干渉しません。
HDFS互換性： HDFS API ^[1]と完全に互換性があり、より強力なメタデータパフォーマンスを提供します。
S3互換性：S3プロトコルと互換性のあるアクセスインターフェースを実装するためのS3ゲートウェイ^[2]を提供します。
クラウドネイティブ： CSIドライバー^[3]を介してKubernetesでJuiceFSを簡単に使用できます。
分散設計: 同じファイルシステムを数千台のサーバーに同時にマウントでき、高性能な同時読み取りと書き込み、およびデータの共有が可能です。
強力な一貫性: 確認されたファイルの変更はすべてのサーバー上ですぐに表示され、強力な一貫性が確保されます。
強力なパフォーマンス: ミリ秒単位のレイテンシとほぼ無制限のスループット (オブジェクトストレージのサイズによって異なります)。性能試験結果^[4]を参照。
データセキュリティ: 転送中の暗号化と保存中の暗号化をサポートします。詳細は^[5]を参照。
ファイルロック: BSD ロック (flock) と POSIX ロック (fcntl) をサポートします。データ圧縮: ストレージスペースを節約するために、LZ4 および Zstandard 圧縮アルゴリズムをサポートします。

すぐに始めましょう

JuiceFS のインストールは非常に簡単です。メタデータストレージエンジン (Redis、MySQL など) とオブジェクトストレージを準備する必要があります。最後に、JuiceFS クライアントをダウンロードし、コマンドラインを実行してすぐに使用を開始します。

最新の JuiceFS クライアントのダウンロードアドレスは GitHub プロジェクトページで見つかります。プラットフォーム用のコンパイル済みバージョンを選択し、ダウンロードして /usr/local/bin/juicefs にインストールします。

ターミナルで juicefs と入力して実行し、プログラムのヘルプ情報が返された場合は、JuiceFS クライアントが正常にインストールされたことを意味します。

ファイルシステムの作成

ファイルシステムを作成するには、クライアントが提供する format コマンドを使用します。一般的な形式は次のとおりです。

 juicefs フォーマット[ コマンドオプション] META - URL NAME

ファイルシステムをフォーマットするには、次の 3 種類の情報が必要であることがわかります。

[コマンドオプション]: ファイルシステムのストレージメディアを設定します。空白のままにすると、デフォルトでローカルディスクがストレージメディアとして使用されます。パスは $HOME/.juicefs/local、/var/jfs、または C:/jfs/local です。
META-URL: メタデータストレージ、つまりデータベース関連の情報 (通常はデータベースの URL またはファイルパス) を設定するために使用されます。
NAME: ファイルシステムの名前です。

ファイルシステムのマウント

ファイルシステムをマウントするには、クライアントが提供する mount コマンドを使用します。一般的な形式は次のとおりです。

 juicefs mount [ コマンドオプション] META - URL マウントポイント

ファイルシステムを作成するコマンドと同様に、ファイルシステムをマウントするときには次の情報を指定する必要があります: **[コマンドオプション]**: ファイルシステム関連のオプションを指定するために使用されます。たとえば、-d を使用するとバックグラウンドマウントを実現できます。 META-URL: メタデータの保存を設定するために使用されます。つまり、データベースに関連する情報、通常はデータベースの URL またはファイルパスです。 MOUNTPOINT: ファイルシステムのマウントポイントを指定します。たとえば、次のコマンドは、myjfs ファイルシステムを ~/jfs フォルダーにマウントします。

 juicefs マウント sqlite3://myjfs.db ~/jfs

以下のようなフィードバックが得られればマウント成功です！！

ファイルシステムを確認する

ファイルシステムがマウントされたら、juicefs bench コマンドを使用してファイルシステムの基本的なパフォーマンステストと機能検証を実行し、JuiceFS ファイルシステムに正常にアクセスでき、パフォーマンスが期待どおりであることを確認できます。

 juicefsベンチ ~/jfs

juicefs bench コマンドを実行すると、指定された同時実行数 (デフォルトは 1) に従って、N 個の大きなファイル (デフォルトは 1) と N 個の小さなファイル (デフォルトは 100) を JuiceFS ファイルシステムに書き込み、読み取り、単一操作の読み取りおよび書き込みスループットと待ち時間、およびメタデータエンジンへのアクセスの待ち時間をカウントします。

検証が成功したら、ぜひあなたのスキルを披露し、より多くの遊び方を模索してください〜

プロジェクトアドレス: https://github.com/juicedata/juicefs.