UCloudの彭静鑫氏との独占インタビュー：UCloudの高性能ストレージの背後にある技術分析

[51CTO.comからのオリジナル記事] モバイルインターネットの急速な発展に伴い、スマート端末、ウェアラブルデバイス、スマートホームが急速に普及し、データスループットは指数関数的な成長傾向を示しています。ビッグデータ爆発の時代において、あらゆる分野のインターネット化と現実世界のデジタル化の傾向により、エンタープライズレベルのクラウドストレージに対する市場の需要はより緊急なものとなっています。

クラウド ストレージは、クラウド コンピューティング環境におけるストレージ サービスとして理解できます。クラウド コンピューティング データ センター内のさまざまなストレージ リソースを仮想化、抽象化、プールし、ストレージ サービスの形式でアプリケーションに提供します。ユーザーは、自分のニーズ（容量、パフォーマンス、時間など）に応じてクラウド ストレージ リソースを使用できます。ブロック ストレージや分散ファイル ストレージなど、ユーザーが購入したコンピューティング ノードを通じて使用できるものもあれば、オブジェクト ストレージなど、標準のネットワーク アクセス インターフェイスを通じてアクセスできるものもあります。

UCloud は、国内有数のクラウド コンピューティング サービス プラットフォームとして、クラウド ストレージの製品ラインが比較的豊富です。 UCloud ブロックストレージ研究開発副部長の Peng Jingxin 氏は最近、51CTO 記者のインタビューに応じ、クラウドストレージ製品とテクノロジーを分析しました。

UCloudの豊富なストレージ製品ライン

Peng Jingxin は現在、UCloud ブロック ストレージ R&D の副ディレクターを務めており、主に分散クラウド ディスク、ブロック デバイス データ保護製品、分散ファイル ストレージの R&D に従事しています。インタビューの中で、彭静鑫氏はUCloudの既存のストレージ製品について次のように要約した。

1. SATA 共通クラウド ディスクや SSD クラウド ディスクなどのブロック デバイス ストレージ機能を提供するクラウド ハード ディスク UDisk。クラウド ディスクは、クラウド ホストに高速で信頼性の高いブロック ストレージ機能を提供できます。

2. 分散ファイルシステム機能を備えたファイルストレージシステムである UFS を提供します。 UFS は、信頼性が高く、無限にスケーラブルなファイル ストレージ サービスを提供します。現在は容量ベースですが、後日パフォーマンスベースも開始される予定です。

3. オブジェクト ストレージ UFile は、大規模で信頼性が高く、低コストの非構造化ファイル ストレージ サービスを提供します。これにより、ユーザーはインターネットにアクセス可能な任意の場所から API を使用してファイルにアクセスし、保存できます。

4. 継続的なデータ保護（CDP）システムを提供するデータアークであるUDataArkは、任意の秒数へのブロックデバイスロールバックをサポートする最初のパブリッククラウドであり、誤操作やハッカー攻撃などによるユーザーの誤ったデータの削除や損失を効果的に防ぐことができます。

もちろん、UCloud には、これら 4 つのストレージ製品のほかにも、大量データの長期アーカイブやバックアップに適したデータ アーカイブ ストレージである UArchive、データベース サービスを提供する RDS、分散リレーショナル データベースもあります。 ”

クラウド ハードディスクやソフトウェア定義ストレージなどのストレージ製品との関係は何ですか?

一般に、ソフトウェア定義ストレージ (SDS) は、データセンター内のさまざまなストレージ リソースを抽象化してプールし、サービスの形式でアプリケーションに提供して、アプリケーションのオンデマンドおよび自動化されたストレージのニーズを満たします。クラウド ハード ディスクは、実際には SDS の一種です。ストレージ リソースをプールし、アプリケーション層に必要な論理ブロック デバイス ストレージ機能を提供し、コンピューティングとストレージを物理的に分離します。

UCloud はストレージ製品の開発でどのような問題に直面し、それをどのように解決しましたか?

UCloud は確かにストレージ製品の開発においていくつかの問題に直面しました。そのうちの3つを以下に示します。

1. データの信頼性

データの破損を早期に検出するために、ユーザー IO の読み取りと書き込みがディスク上の任意の場所に分散されず、ディスクの不良セクタと不良ブロックが時間内に検出されないことがあります。 3 つのコピーのうち 2 つを含むディスクが破損していても、間に合わずに発見されない可能性もあります。これにより、データの信頼性に対する大きな課題が生じます。その後、データの信頼性をより確実にするために、さまざまなディスク オフセットでの読み取りおよび書き込みの検出と、読み取りデータとチェックサムの定期的な比較を追加しました。

2. データシャーディング

データ シャーディングとメタデータの関係は、シャードが小さいほどメタデータが多くなり、シャードが大きいほどメタデータが多くなるというものです。シャードが大きくなるほどメタデータも多くなりますが、データを均等に分散できず、分散クラスターの機能を十分に活用できなくなります。したがって、シャードは適切に小さくする必要があります。すると、再び問題が起こります。ユーザーがディスクを申請する場合、永続性のために大量のメタデータを割り当てる必要があります。これにより、大容量ディスクの場合、アプリケーションの使用感が非常に悪くなり、速度が低下します。アプリケーション時に割り当てられていない場合は、書き込み時に割り当てられるため、ユーザーの最初の IO エクスペリエンスも低下し、パフォーマンスに影響します。総合的に検討した結果、メタデータの集中保存によって生じるトラブルを回避し、計算によってルートを取得することを選択しました。

3. 継続的なデータ保護

第 1 世代の CDP システム Data Ark 1.0 は、ブロック デバイスの過去の任意の時点へのロールバックをサポートできます。ただし、大容量ディスクや IO の多いディスクの場合、ロールバック速度は非常に遅くなり、数時間かかることもあります。ユーザーは、使用時にすぐにロールバックできることを望んでいます。その後、Data Ark 2.0 を設計しました。ユーザーの観点から見ると、ロールバックするときに、元のディスク データを破壊せずに、まったく新しいディスクにロールバックすることを選択できます。ストリーミングコンピューティング、階層型ハイブリッドストレージ設計、分散ストレージ技術により、ロールバック速度が8倍に向上し、1TBの大容量ディスクでも30分以内にロールバックを完了できるようになりました。

ブロック ストレージは、基盤となるハードウェアの面で近年どのような進歩を遂げてきましたか?

一般的に、基盤となるハードウェアはますます強力になっています。これは主に 2 つの側面に反映されています。1 つはディスク速度がどんどん速くなっていること、もう 1 つはネットワーク インターフェイスも急速に発展していることです。 SSD などのソリッドステートドライブの開発は現在、主に NAND をベースに行われています。単一のディスクで数十万、あるいは数百万の IOPS と最大数 GB の読み取りおよび書き込み帯域幅を提供できますが、これは機械式ディスクの時代には想像もできなかったことです。同時に、ソリッドステートドライブの容量は一般的に 4TB ～ 6TB に達し、ストレージ容量の要件は完全に解決されます。 NANDに加えて、3D Xpointの開発もあります。 NANDと比較すると、IntelのOptaneなどの3D Xpointはレイテンシが約10倍改善され、耐久性も向上しています。

さらに、ネットワーク カードも、ギガビット、10 ギガビット、25G カードから 50G カードへと急速な発展を遂げてきました。さらに、ネットワーク カードは、ゼロコピー ネットワーク送受信を可能にする RDMA 機能をサポートしており、オペレーティング システムやプロトコル スタックなどの介入なしに、マシン間の超低レイテンシと超高スループットを実現できます。

基盤となるハードウェアの発展に伴い、ブロック ストレージはどのようにしてソフトウェア テクノロジ レイヤーのボトルネックを打破できるのでしょうか?

1. SATA SSDと比較したNVME/PCIE SSDの飛躍的な発展など、基盤となるハードウェアの発展に伴い、ネットワークインターフェースの処理能力も10Gから25G、さらに100Gへと増加しました。同時に、CPU 周波数に大きな進歩はほとんどなく、主流の平均は 2 ～ 3GHZ 未満となっています。さらに、従来のモデルでは、パケットを送受信する SSD IO とネットワーク カードは、ユーザー モードとカーネル モードで複数のレイヤーのコピーを経由し、両方ともカーネル割り込みによって起動される必要があります。以前は、これらの周辺機器の電力は CPU の電力よりもはるかに低かったため、ボトルネックはありませんでした。周辺ハードウェアの飛躍的な発展に伴い、システム処理を起動する割り込みモデルも技術的な課題に直面し始めています。

クラウド コンピューティング環境の分散ブロック ストレージは、ソフトウェア スタックの観点から 2 つのレイヤーに分けられます。1 つはホスト クラスター、もう 1 つはバックエンド クラスターであり、これらはネットワークを介して相互接続されます。ブロック ストレージが突破する必要があるテクノロジは、主にソフトウェア スタック全体の IO パスと、IO パス全体のパフォーマンスと信頼性です。ホスト側では、データ相互作用の高パフォーマンスを実現するために、データ プレーンを QEMU からホストにアンロードする必要があり、そのためにユーザー モード VHOST ソリューションが利用できます。たとえば、SPDK VHOST テクノロジーは、データ プレーンを qemu からユーザー モードにオフロードするだけでなく、pmd モードを通じてパフォーマンスを高速化します。

2. 2 番目は、ホストからバックエンド クラスターへのパスです。従来の TCP/IP プロトコル スタック + ネットワーク サービス フレームワークの epoll モードでは、超高性能要件を達成することが困難です。 RDMA テクノロジーにより、通信は複雑な TCP プロトコル スタックを経由する必要がなく、バイパスとゼロ コピーによって低遅延機能が大幅に向上します。同時に、両端の CPU が関与する必要はありません。したがって、ROCE であろうと IB であろうと、RDMA テクノロジーはネットワーク通信のパフォーマンスを大幅に向上させることができます。

3. 3番目はバックエンド側です。 RDMA を適用すると、ネットワーク通信のパフォーマンスが大幅に向上し、CPU 負荷が軽減されます。さらに、ディスク IO のパフォーマンスにも注意する必要があります。 IO レイテンシを削減しながら NVME の高 IOPS を活用することが最も重要な側面となっています。 SPDK を使用して NVME ドライバー経由でディスクにアクセスし、IO スタックと PMD モードを短縮すると、IO レイテンシが大幅に短縮されます。

UCloud はストレージ技術の面で、どのようにユーザーに優れたサービスを提供していますか?

ユーザーにより良いストレージ サービスを提供するためには、ユーザーのニーズという観点から検討する必要があります。

1. ユーザーは高いパフォーマンスと低レイテンシーを追求します。たとえば、先ほど述べたブロック ストレージは、全体的な IO パスを考慮して、レイテンシの低減と IOPS の向上を継続的に追求できます。つまり、究極の IO パスを実現することです。

2. ユーザーは大容量を求めているため、ユーザーが容量を無限に拡張できるシステムをどのように設計するかが鍵となります。

3. ユーザーが低価格を追求する場合、TCO を削減し、データの信頼性を犠牲にすることなく冗長性を削減し、ディスク使用率を向上させることが重要です。

4. ユーザーがロールバックの速度と粒度を追求する場合、継続的なデータ保護において RTO と RPO を追求する必要があります。

この点において、UCloud は常に「ユーザーの需要が次の製品である」というコンセプトを堅持してきました。

ブロックストレージに関して、UCloud は今後どのような最適化や新製品を開発する予定ですか?

UCloud は確かにストレージ業界の発展に遅れずについていき、ストレージ製品を継続的にリリースまたは最適化しています。たとえば、5 月にリリースされた新しい高性能ブロック ストレージ SSD クラウド ハード ドライブでは、ソフトウェア アーキテクチャの設計がよりシンプルになっています。さらに、お客様の高いパフォーマンスに対する要求に応えるため、すべてのバックエンドストレージは NVME SSD を使用し、QOS 保証を提供します。次に、UCloud は、より高性能なファイル ストレージのニーズに応えるために、NVME SSD ベースの分散ファイル ストレージも開始します。

同時に、UCloud は RDMA SPDK などのデータプレーン カーネル バイパス テクノロジーを導入し、IO スタックを完全に最適化してハードウェア パフォーマンスを圧迫し、高性能で低レイテンシのストレージ エンジンを作成して、高性能を必要とするさまざまなストレージ サービスを提供します。将来的には、Optane ディスクと NVMe ディスクのハイブリッド ストレージなどのハイブリッド ストレージ テクノロジも採用され、書き込みレイテンシが短縮され、顧客に優れたエクスペリエンスが提供されます。

ゲスト紹介

[[233378]]

UCloud ブロック ストレージ研究開発副ディレクターの Peng Jingxin 氏は、上海交通大学で修士号を取得しました。 2011 年に Baidu に入社し、2011 年から 2014 年にかけてモバイル クラウド アプリケーション サービスのバックエンドにおける数多くの研究開発業務を担当しました。現在は UCloud でブロック ストレージ研究開発部門の副部長として勤務し、主にクラウド ハード ドライブ、データ アーク、分散ファイル システムなど、ブロック ストレージ研究開発部門とファイル ストレージ研究開発部門の研究開発と運用を担当しています。彼は、サービス バックエンド テクノロジー、ストレージ テクノロジー、エンジニアリング実践の分野で豊富な研究開発経験を持っています。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]