分散ストレージのソフトウェアとハ​​ードウェアを分離することの何が難しいのか分かりません。

分散ストレージといえば、ソフトウェア定義ストレージ (SDS) を思い浮かべるかもしれません。世界中のストレージ ベンダーを代表する権威ある団体である SNIA (Storage Network Industry Association) は、SDS を次のように定義しています。ソフトウェア定義ストレージには、管理プレーン上の標準インターフェイスと自動化、およびデータ プレーン上のスケールアウト ブロック、ファイル、およびオブジェクト ストレージ サービスが含まれます。

出典: https://www.snia.org/sites/default/files/SNIA_Software_Defined_Storage_%20White_Paper_v1.pdf

業界の多くのアナリストやベンダーは、「SDS」はハードウェアから切り離され、コンテナ、仮想マシン、標準のベアメタル サーバーに展開できると考えています。しかし、SNIA が発表した SDS ホワイト ペーパーでは、SNIA はこの見解に同意せず、むしろ SDS によって実現されるデータの管理と弾力性の自動化に懸念を抱いています。

分散ストレージにおける「ソフトウェアとハ​​ードウェアの分離」という幻想の源

おそらく私たちは、Google が分散ストレージ アーキテクチャの概念を提案し、それを実践した 21 世紀初頭に目を向ける必要があるでしょう。同社は、強力な技術チームと保守チームのサポートにより、自社開発の分散ストレージソフトウェアを標準サーバー上に展開し、インターネット検索事業がもたらす膨大なデータフローに対応する大規模ストレージクラスターを構築しました。

諺にあるように、一つの石が千の波紋を引き起こすこともある。他のインターネット企業も「ビッグブラザー」Googleの例に倣い、ソフトウェアとハ​​ードウェアの分離という概念をインターネット業界で普及させました。多くの研究者がその価値を分析し、次の 4 つの価値をまとめました。

標準 x86 サーバーの低コスト。

データセンターのハードウェアを標準サーバーに標準化し、統一されたハードウェアの運用と保守を実現します。

Infrastructure as Code: ストレージは、ソフトウェア定義データセンターの自動スケジューリング フレームワークに組み込まれます。

ユーザーは、エンタープライズ データ センター、エッジ クラウド、またはパブリック クラウドで一貫したデータ サービスを利用できます。

インターネットの波の中での分散ストレージの出現は非常に素晴らしかったため、ストレージ システム自体がどのようなものであるべきかを誰もが忘れてしまったと言えます。冷静な人は弁証法的思考で問題を分析することを好みます。そのため、多くのユーザーが「ソフトウェアとハ​​ードウェアの分離」を懸念していることもわかり、ソフトウェアとハ​​ードウェアの分離を備えた分散ストレージには、信頼性、パフォーマンス、運用、保守などの面で改善できる領域がたくさんあると考えています。

分散ストレージソフトウェアとハ​​ードウェアの分離の難しさの分析

分散ストレージのソフトウェアとハ​​ードウェアを分離することの何が難しいのか分かりません。まとめると、以下の点が挙げられます。

難しさ1: 信頼性

ストレージには、何千もの業界のユーザーのデータ資産が保存されます。ストレージ障害によりデータが失われると、企業にとって回復不能な大きな損失が発生します。ストレージのコアコンポーネントはハードディスクです。業界には、「SDS は信頼性の低い標準化されたサーバーを信頼性の高いストレージ システムに変える」という格言があります。この声明の背後にある技術的な根拠は、SDS がクロスノード冗長アルゴリズムを通じてサーバー ノードの障害に耐えられるということです。しかし、この発言は本当に完全に正しいのでしょうか?実際に、一部のユーザーは、使用している標準サーバーでハードディスク/SSD カードの一括障害が時々発生し、冗長性アルゴリズムが失敗してデータが失われることに気付きました。

統合ハードウェアおよびソフトウェアメーカーとの綿密なコミュニケーションを通じて、ユーザーは、統合ハードウェアおよびソフトウェアストレージハードウェアと標準サーバーの品質管理プロセスに大きな違いがあることを発見しました。標準的なサーバーは低コストであり、製造プロセスの品質管理は、CPU、メモリ、ハードディスクの 3 つの主要コンポーネントの簡単な機能テストに限定されています。プロフェッショナル ストレージ ハードウェアには、ハード ドライブの大量障害を回避するために、次のような厳格な安全対策が追加されています。

TOP ストレージ メーカーは、新製品の計画および設計時に、ハード ドライブ サプライヤーの特性、仕様、ソリューションを厳密にレビューし、新しいハード ドライブとストレージ製品の間に高い互換性があることを確認します。

新しいハード ドライブを発売する前に、TOP ストレージ メーカーは、大量のサンプル ドライブに基づいて数か月に渡ってシステムの互換性と安定性のテストを実施し、ハード ドライブが 3 ～ 5 年のライフサイクル内で正常に動作することを確認します。

ハード ドライブのバッチまたはファームウェアが変更された場合、ストレージ製造元は上記の安定性テストを再実行します。

一部のトップストレージメーカーは、サプライヤーのハードドライブ生産ラインを指定しています。

データは企業の中核資産であり、統合されたハードウェアおよびソフトウェア ストレージの付加価値は、実際にはその背後にある通常は知られていないストーリーから生まれます。

難しさ2: パフォーマンスSLA保証

企業のデジタル変革が進むにつれ、分散ストレージは、開発やテスト、デスクトップ クラウドなどの初期の非クリティカルなアプリケーションから、実稼働アプリケーションへと徐々に移行してきました。上記の信頼性 SLA 要件に加えて、実稼働アプリケーションでは、分散ストレージのパフォーマンス、特にデータ アクセスの安定性と低レイテンシに関して、より厳しい要件が課せられます。

ソフトウェアとハ​​ードウェアが分離された分散ストレージには、パフォーマンス設計において 2 つの自然な欠陥があります。

標準サーバーには、コンピューター ルームの電源が突然失われた場合にメモリ データを保護するためのバッテリー (BBU) がないため、データ キャッシュには SSD カード/ディスクのみを使用できます。 SSD のレイテンシはメモリよりもはるかに高いため、ソフトウェアとハ​​ードウェアが分離された業界の分散ストレージのほとんどのレイテンシは、実稼働ストレージのレイテンシに匹敵することができません。

別途購入した分散ストレージ ソフトウェアは、サードパーティ サーバーの SSD ディスクと密接に連携できないため、業界の先進的なオールフラッシュ ストレージのようなグローバル ガベージ コレクションを実現できず、大量の SSD ディスクのガベージ コレクションによって発生する運用アプリケーションのレイテンシの変動を制御することができません。

ハードウェアとソフトウェアを統合した分散ストレージには、上記の 2 つの大きな欠陥を克服する機会があります。業界の先進的な分散ストレージ製品は、オールフラッシュ ストレージと同様のバッテリー保護 (BBU) とシステム レベルのグローバル ガベージ コレクションを使用して、従来の運用ストレージに匹敵する高い同時実行圧力下で 1 ミリ秒の安定したレイテンシを実現し、分散ストレージがエンタープライズ運用アプリケーションに導入される際にパフォーマンス SLA 保証を提供していることがわかりました。

難しさ3: 運用と保守のリスク

ソフトウェアとハ​​ードウェアの分離は、ユーザーに多大なメンテナンスの負担をもたらします。たとえば、効果的な自動展開と詳細な検査を実現することはほぼ不可能です。さらに、使用中に問題が発生した場合、サプライヤーは互いに非難し合う傾向があり、ソフトウェアメーカーとハードウェアメーカー間の責任のインターフェイスが明確ではないため、ユーザーが問題を特定する最初の責任者になる可能性があります。

統合されたハードウェアとソフトウェアのストレージにより、自動展開テクノロジ ソリューションを事前に設計し、ライフサイクル全体にわたってエンドツーエンドで自動化された運用および保守機能を構築できるため、配信と運用の効率が向上し、ビジネス リスクが軽減されます。

難しさ4: 長期的な総所有コスト

ソフトウェアとハ​​ードウェアを切り離すことで調達コストを削減するという主張は、基本的に、標準サーバーが安価であるという仮定に基づいています。ただし、ストレージの付加価値は、ソフトウェア、品質管理、技術サポートに大きく依存します。ユーザーは、ソフトウェアとハ​​ードウェアの購入と導入に多大な労力を費やした後、その後の DIY への投資と比較すると、節約したお金がわずかであることに徐々に気付きます。理由は簡単です。同じ品質要件であれば、大規模な工業生産では DIY よりも総コストが常に低くなります。調達コストは明示的ですが、総合的なコストは単にハードウェアの調達コストだけではなく、使用コストや保守コストも考慮する必要があります。

業界のシナリオに応じて必要なものを取り入れ、両方の長所を実現します

デジタル変革の高速列車に乗りたいと熱望する業界ユーザーの大多数は、ハードウェアとソフトウェアの分離を選択すべきでしょうか、それとも専門のストレージメーカーによるハードウェアとソフトウェアの事前統合製品を選択すべきでしょうか?ビジネスの世界では、ルートやコンセプトをめぐる論争はそれほど多くないかもしれません。ソフトウェアとハ​​ードウェアを分離することの利点は調達コストにあり、ソフトウェアとハ​​ードウェアを統合することの利点は信頼性とパフォーマンスにあります。したがって、ユーザー シナリオにおけるデータの重要性に基づいて、最も適切なソリューションを選択することが賢明です。実際、両方の長所を活かすことが可能です。

ソフトウェアとハ​​ードウェアの統合がコンセンサスとなっている業界シナリオ: HPC/HPDA (エネルギー探査、衛星リモートセンシング、遺伝子配列解析、自動運転、気象学および海洋学、教育および科学研究、アニメーションレンダリング、スーパーコンピューティングプラットフォームなど)、安全な都市のビデオ監視/交通チェックポイント、超高精細ビデオ制作/メディアライブラリ、オペレーター IPTV など。

統合されたソフトウェアとハ​​ードウェアを使用する業界のシナリオに適しています: 政府クラウド。オペレータ BOM ドメインのクラウド化、5G 通信クラウド。金融オンラインバンキング、モバイルバンキング、フロントエンドシステムWebアプリケーション、請求書イメージングなど。ビッグデータ分析（政府、​​オペレーター、セーフシティ、金融など）およびさまざまな業界向けのバックアップおよびアーカイブシステム。中国移動を例に挙げると、同社は初期の頃に大量の分散ストレージソフトウェアを購入し、集中型の標準サーバーと組み合わせて使用​​していました。過去 2 年間で、分散ブロックとファイルの調達は両方とも、ハードウェアとソフトウェアの統合モデルに完全に移行されました。

·分離できる業界シナリオ: さまざまな業界の開発とテスト、およびデスクトップ クラウド。このシナリオ データの重要度は、生産シナリオの重要度よりもわずかに低くなります。 IT 予算が限られているユーザーは、ぜひ試してみてください。もちろん、十分な予算を持つユーザーはより慎重になることができます。

紆余曲折はあっても、分散ストレージには将来性がある

諺にあるように、猫が黒か白かは関係なく、ネズミを捕まえることができれば、それは良い猫です。私たちは、分散ストレージのハードウェアとソフトウェアの統合と、ハードウェアとソフトウェアの分離が長期にわたって共存すると考えています。一般的に、データの価値が高まるにつれて、シナリオにおけるデータの信頼性に対する要件はますます厳しくなり、市場はハードウェアとソフトウェアの統合へと傾くようになると私は考えています。逆に、シナリオのデータ信頼性に対する感度が低く、短期的なコストに対する感度が高いほど、市場はハードウェアとソフトウェアの分離に向かう傾向が強くなります。

分散ストレージの開発がいかに困難であろうとも、最終的にはそれが本格的なドラマとなり、大量のデータを運ぶストレージ市場全体の主役となり、際立って人々に無限の余韻を与えることになると私たちは信じています。