クラウドディスクアーキテクチャのアップグレードとパフォーマンスの向上の詳細な説明

クラウド ディスクは、クラウド サーバーに可用性と信頼性が高く、永続的なランダム データ ブロック レベルのストレージを提供するため、そのパフォーマンスとデータの信頼性は特に重要です。 UCloud は、これまでの運用経験に基づき、過去 1 年間にクラウド ディスクの基盤となるアーキテクチャを再設計し、一般的なクラウド ディスクのパフォーマンスを向上させ、NVME 高性能ストレージのサポートを完了しました。以下の記事では、IO パスの最適化、メタデータ シャーディング、NVME のサポートなどの技術的な側面から、UCloud クラウド ハード ディスクのアーキテクチャのアップグレードとパフォーマンス向上戦略について詳しく説明します。

IOパスの最適化

以前は、IO の読み取りと書き込みには 3 層アーキテクチャを経由する必要がありました。リクエストはまずネットワークを通過し、プロキシ サーバーにアクセスし (プロキシは主に、IO ルーティングの取得、キャッシュ、読み取りと書き込みの転送、および IO 書き込み操作の 3 つのコピーを担当します)、最終的にバックエンド ストレージ ノードに到達します。古いアーキテクチャでは、各読み取り/書き込み IO に 2 つのネットワーク転送操作が必要でした。

レイテンシを削減するために、最適化されたソリューションではプロキシの機能を分割し、クライアントが IO ルートの取得とキャッシュを担当し、IO 書き込みの 3 つのコピーを担当するプライマリ チャンクに IO 読み取りと書き込みを送信するように定義します。アーキテクチャのアップグレード後は、IO の読み取りと書き込みは 2 つのアーキテクチャ層を通過するだけで済みます。特に読み取り IO の場合、ネットワーク要求はバックエンドのストレージ ノードに直接到達でき、そのレイテンシは平均 0.2 ～ 1 ミリ秒短縮されます。

メタデータシャーディング

分散ストレージはデータをシャードに分割し、各シャードはクラスター内の複数のコピーに保存されます。古いアーキテクチャでは、UCloud でサポートされるシャード サイズは 1G です。ただし、特殊なシナリオ（ビジネス IO ホットスポットが狭い範囲に限定されているなど）では、1G シャードによって通常の SATA ディスクのパフォーマンスが非常に低下し、SSD クラウド ディスクでは IO トラフィックを各ストレージ ノードに均等に分散できなくなります。そのため、新しいアーキテクチャでは、UCloud はメタデータ シャードのサイズを縮小し、1M のデータ シャードをサポートします。

シャードが小さすぎると、同時に割り当てるかマウントする必要があるメタデータの量が非常に大きくなり、簡単にタイムアウトが発生し、一部のリクエストが失敗する可能性があります。これは、メタデータが事前に割り当てられ、マウントされているためです。クラウド ディスクを申請すると、システムはすべてのメタデータを直接割り当て、すべてをメモリにロードします。

たとえば、300 GB のクラウド ディスクを 100 個同時に申請し、それを 1 GB のスライスに分割する場合、30,000 個のメタデータを同時に割り当てる必要があります。 100 万スライスに分割する場合、3000 万のメタデータを同時に割り当てる必要があります。

パフォーマンスのボトルネックを解決するために、チームは中央メタデータノードによるルーティング割り当てを放棄する方法を採用しました。このソリューションでは、クライアントとクラスター バックエンドは同じ計算ルール R (シャード サイズ、pg の数、マッピング方法、競合ルール) を使用します。クラウド ディスクを申請する場合、メタデータ ノードは計算ルール 4 つを使用して容量が満たされているかどうかを判断します。クラウドディスクをマウントするときに、メタデータノードから計算ルール4倍が取得されます。 IO を実行する際、計算ルール R (シャード サイズ、pg 数、マッピング方法、競合ルール) に従ってルーティング メタデータが計算され、その後直接 IO が実行されます。この変換ソリューションにより、100 万のデータ シャードの場合にメタデータの割り当てとマウントがスムーズに行われ、IO パスの消費が削減されます。

NVME高性能ストレージのサポート

NVME は、PCI-E チャネルの低レイテンシと並列処理を最大限に活用して、NAND ソリッド ステート ドライブの読み取りおよび書き込みパフォーマンスを大幅に向上させ、レイテンシを削減します。その性能はHDDの100倍です。現在一般的に使用されている NAND ベースのソリッド ステート ドライブは、10W を超える書き込み IOPS、40～60W の読み取り IOPS、および 1GB～3GB の読み取りおよび書き込み帯域幅をサポートできます。 NVME をサポートするには、それに合わせたソフトウェアの最適化設計が必要です。

まず、従来のアーキテクチャではシングルスレッド伝送が採用されており、シングルスレッドの書き込み IOPS は 6W、読み取り IOPS は 8W であるため、バックエンドの NVME ハードディスクの数十万の IOPS と 1～2GB の帯域幅をサポートすることが困難です。 NVME ディスクの性能を活かすためには、シングルスレッド転送をマルチスレッド転送に変更する必要があります。システムは、スレッドの CPU とディスクの負荷状態を定期的に報告します。スレッドが継続的にビジー状態であり、一部のスレッドが継続的にアイドル状態である場合、選択された一部のディスク シャードの IO をアイドル スレッドに切り替えることができます。現在、5 つのスレッドで NVME の機能を最大限に活用できます。

さらに、アーキテクチャの最適化の面では、IO パスの階層とシャードの縮小に加えて、UCloud は IO パス上のメモリ プールとオブジェクト プールを使用して、定数の新規作成と削除を削減し、配列インデックスを使用してクエリの消費量を削減し、文字列の比較と不要なコピーを回避し、最終的に NVME ディスクのパフォーマンスを最大限に発揮しようとします。

上記のコンテンツは、10月12日に上海でUCloudが主催したTech Talk***イベントで初めて公開されました。Tech Talkは、ユーザーとの詳細な技術交流を目的としたUCloudのオフラインイベントです。今後も継続して開催いたしますので、ぜひご参加ください。