ビッグデータ分散ストレージの展開モード: 分離またはハイパーコンバージェンス

ビッグデータ分散ストレージの展開モード: 分離またはハイパーコンバージェンス

データセンターの内部システムの中核となる要件は「安定性と信頼性」です。まず、システムが運用中に継続的かつ信頼性の高いサービスを提供し、長期間にわたって故障することなく動作する能力を備えていることを意味します。 2 つ目は、障害が発生したときに、それを迅速に特定して時間内にトラブルシューティングする能力があり、障害の範囲が広がらないことを意味します。

個別の展開方法により、システムはクラウド プラットフォーム システムから独立し、CPU/メモリ/ネットワークなどの物理リソースをめぐるコンピューティングとストレージ間の競合を回避します。一方のリソース需要が突然増加すると、もう一方のリソースが枯渇し、パフォーマンスに影響を及ぼし、インフラストラクチャ全体に波及効果が発生します。ハイパーコンバージド展開方式では、クラスターの規模が大きい場合、ネットワーク、ハードディスク、サーバーの障害が発生する可能性が高くなります。さらに、データの重複排除、圧縮、暗号化、消失訂正符号、障害の自己修復、データ機能の実装などの機能は、特定のシステム リソースを消費し、パフォーマンスの低下やジッターにつながります。

[[248858]]

ハイパーコンバージェンスよりも個別展開の方が優れている点:

もしそのような見解が特定のメーカーやサプライヤーから出たものでなければ、それはあまりにも偏ったものとなるでしょう。単純に 2 つのテクノロジーを見ると、それぞれ異なる規模に適していると思います。ハイパーコンバージェンスは、小規模および中規模（プラットフォーム規模および人的資源規模を含む）では明らかな利点がありますが、大規模な分散ストレージではさらに大きな利点があります。絶対的な一方的な優位性ではなく、優れたデザインと適切なバランスが鍵となります。

ハイパーコンバージド展開モードを採用することをお勧めします。

1. コスト面では、各ハイパーコンバージド サーバーはコンピューティング リソースとストレージ リソースの両方として使用でき、コスト効率が最も高くなります。

2. パフォーマンスの面では、分散ストレージ システムは通常、サーバー リソースの約 10% しか占有せず、パフォーマンスの 90% が利用可能になります。さらに、X86 サーバーの CPU パフォーマンスはますます向上しています。利用率が低すぎて放置されているとしたら残念です。

3. 管理の観点から見ると、各 X86 物理デバイスは同じであるため、水平方向の拡張と管理が容易になります。ノードを追加するたびに、コンピューティング リソースとストレージ リソースの両方が増加し、管理が容易になります。現在、Baidu と Alibaba のクラウド データ センターは基本的にこれを行っています。

1. ハイパーコンバージェンスの概念

現在、ハイパーコンバージェンスには厳密な標準定義はありません。さまざまなメーカーや組織が独自の定義を持っています。これは、ハイパーコンバージェンスがまだ急速な発展と進化の過程にあり、統一された標準仕様が形成されていないことも示しています。ハイパーコンバージェンスの「ハイパー」は英語の「Hyper」に相当し、特に仮想化を指し、KVM、XEN、Hyper-V などの仮想化コンピューティング アーキテクチャに相当します。この概念は、Nutanix などのストレージ ベンダーが、Google や Facebook などのインターネット ベンダーが仮想化環境で採用したコンピューティングおよびストレージ融合アーキテクチャを使用し、X86 ハードウェア プラットフォームに基づくコンピューティングおよびストレージ融合製品またはソリューションをエンタープライズ顧客に提供したことに由来しています。この概念によれば、RAC/Hadoop などのアプリケーションは仮想マシン上で実行されないため、データベース オールインワン マシンとビッグ データ オールインワン マシンはどちらもハイパーコンバージドとして分類することはできません。さらに、ハイパーコンバージド アーキテクチャにおける最も根本的な変化はストレージであり、元の集中型共有ストレージ (SAN/NAS) からソフトウェア定義ストレージ、特に分散ストレージに移行しました。

ハイパーコンバージェンスの「コンバージェンス」とは、コンピューティングとストレージが同じノードに展開され、コンピューティング機能とストレージ機能の両方が提供されることを意味します。コンバージェンスは、一般的に、物理コンバージェンスとハイパーコンバージェンスに分けられ、ハイパーコンバージェンスはコンバージェンスのサブセットです。物理的に統合されたシステムでは、コンピューティングとストレージは、互いに直接依存することなく 2 つの独立したコンポーネントとして存在し、ホストの物理リソースを共有します。ハイパーコンバージェンスと物理コンバージェンスの違いは、仮想化コンピューティングに重点が置かれていることです。コンピューティングとストレージは密接に関連しています。ストレージは物理マシンではなくコントローラ仮想マシン (CVM) によって制御され、分散されたストレージ リソースが統合ストレージ プールに形成され、ユーザー アプリケーション仮想マシンが作成されます。物理コンバージェンスとハイパーコンバージェンスの比較を以下に示します。パフォーマンス上の理由から、ハイパーコンバージド アーキテクチャでは通常、ホストの物理デバイスをコントローラー仮想マシン CVM に渡す必要があります。

ハイパーコンバージドアーキテクチャは標準的なユニバーサルハードウェアに基づいています

このプラットフォームは、ソフトウェア定義を通じてコン​​ピューティング、ストレージ、ネットワークの統合を実現し、仮想化を中心としたソフトウェア定義データセンターの技術アーキテクチャを実現します。システムがハイパーコンバージド アーキテクチャを採用しているかどうかを判断するには、主に次の点を考慮します。

（１）完全にソフトウェア定義。ハードウェアに依存せず、商用の汎用標準ハードウェア プラットフォーム (X86 など) を使用し、コンピューティング、ストレージ、ネットワークなどの機能を完全にソフトウェアで実装します。

（２）完全に仮想化されている。仮想化コンピューティングを中心に、コンピューティング、ストレージ、ネットワークはすべて仮想化エンジンによって統一的に管理およびスケジュールされ、ソフトウェア定義ストレージは仮想マシン コントローラー CVM によって管理されます。

（３）完全に分散されている。コンピューティング、ストレージ、ネットワークが必要に応じて動的に拡張される、水平方向にスケーラブルな分散システム。システムには単一障害点がなく、分散ストレージを使用します。

2. ハイパーコンバージドアーキテクチャの開発と事例

今後 5 ～ 10 年で、次世代データセンター インフラストラクチャはソフトウェア定義型およびハイパーコンバージド型へと移行し、SAN/NAS ストレージは徐々にソフトウェア定義型ストレージに置き換えられるでしょう。ソフトウェア定義ストレージ (SDS) の推進により、ハイパーコンバージェンスはデータセンター インフラストラクチャの中核となり、ソフトウェア定義データセンター (SDDC) の将来の技術開発トレンドとなります。さまざまな複雑な機器をベースにしたデータセンターは、最終的には汎用サーバーと相互接続されたネットワークをベースにしたアーキテクチャに標準化されるでしょう。これらの汎用サーバーに主要なソフトウェアを導入し、仮想化を通じてコン​​ピューティング リソースとストレージ リソースを実装します。次に、これらの仮想化されたリソースに基づいてアプリケーションが展開され、特定の機能が完了します。

ストレージ、コンピューティング、ネットワークの緊密な統合は、将来の IT インフラストラクチャの開発における主要なトレンドです。そのため、ハイパーコンバージド アーキテクチャはエンタープライズ カスタマーにとって第一の選択肢となり、従来のアーキテクチャからクラウド コンピューティング アーキテクチャへのビジネス システムの変革が加速しています。 IDC の統計レポートによると、世界のハイパーコンバージェンス市場規模は 2016 年に 94% 増加すると予想されています。別の市場分析会社である Gartner は、世界のハイパーコンバージェンス市場の規模は 2019 年に 1,000 億ドルを超え、エンタープライズ データ センターにインストールされるストレージ アレイの約 30% が、x86 ハードウェア システムに基づくソフトウェア定義ストレージまたはハイパーコンバージド統合システム アーキテクチャで導入されると予測しています。

2016年以来、中国のハイパーコンバージェンス市場は引き続き活発化しており、ますます多くのハイパーコンバージェンスチームが徐々に発展してきました。市場調査およびコンサルティング会社であるガートナーが2016年11月に発表した中国のハイパーコンバージェンス市場動向に関するレポートによると、シスコ、HP、デル、EMC、ネットアップなどの大手サーバーおよびストレージ企業はいずれも、自社の技術および製品戦略をハイパーコンバージェンスへとシフトしています。報告書は、中国が世界で最も急速に成長しているハイパーコンバージド・インフラストラクチャ市場になったと指摘している。

H3C、Huawei、Nutanix、Lenovo、SmartX、Sangfor などの国内メーカーは、国際的に主流となっているハイパーコンバージェンス ソリューションにすぐに追随しました。

現在、中国におけるハイパーコンバージェンスアーキテクチャの主な応用事例は次のとおりです。

政府関連機関：中国査察出版、中国証券監督管理委員会、中国インターネット情報センター、中国大連市政府、青海省水利局、広州市地方税務局データベース仮想化、国家衛生計画生育委員会クラウドデータセンター、湖北省公安部監査プラットフォーム、厦門市公安局警察クラウドプラットフォーム、***法律司法統計管理プラットフォーム、深セン税関業務システム、広東省海事局スマート海事プラットフォーム、中国（西安）シルクロード研究所、温州医科大学***付属病院など。

金融業界：招商銀行、北京証券、南京証券、中信銀行など。製造業：東風ホンダ、宝鋼、中国鉄道資源集団有限公司など。IT企業：雲電子、レノボグループ、中国聯通WoCloud、中国電信など。教育業界：中国地質大学、中国科学技術大学、南開大学、北京郵電大学、北京外国語大学、陝西行政学院など。

3. ハイパーコンバージドアーキテクチャの利点

ハイパーコンバージド アーキテクチャが急速に発展している理由は、それが大きな利点を持ち、極めて高い顧客価値をもたらすことができるからです。ハイパーコンバージド アーキテクチャは、コンピューティング、ストレージ、ネットワーク、その他のリソースの統合管理とスケジュール設定を実現し、より柔軟な水平拡張機能を備え、データ センターに最高の効率、柔軟性、規模、コスト、データ保護をもたらします。コンピューティングとストレージのハイパーコンバージェンスを備えた統合プラットフォームの使用により、従来のサーバーと集中型ストレージのアーキテクチャが置き換えられ、アーキテクチャ全体がより明確でシンプルになり、複雑な IT システムの設計が大幅に簡素化されます。

ハイパーコンバージド アーキテクチャの主な機能の 1 つは、容易なスケーラビリティ、最小限の導入、オンデマンドの容量拡張です。ハイパーコンバージド ベンダーは、ハイパーコンバージド クラスターのサイズは、通常は 3 ノードから始まり、数十から数千のノードまで大きく異なると主張しています。ハイパーコンバージェンスでは、コンピューティング能力、ストレージ性能、容量が同期的に拡張されるため、実際には単一の機能の拡張に対応することはできません。メーカーによっては、拡張の最小単位に要件があり、拡張の柔軟性が制限されます。

クラスターが一定の規模に達すると、システム アーキテクチャの複雑さが非線形に増加し、クラスターの管理が困難になり、ハードウェア障害や自己修復の可能性も大幅に増加します。したがって、ハイパーコンバージド アーキテクチャ用に大規模なクラスターを構築することは一般的に推奨されません。ビジネスで許可されている場合は、適切なサイズの複数の小規模なクラスターを構築するか、大規模なクラスター内に障害ドメインまたはサブリソース プールを構築する方法を使用します。

物理デバイスを制御仮想マシンに透過的に送信することで、展開と構成管理の複雑さが増します。コンピューティングとストレージではハードウェア プラットフォームに対する要件が異なり、それらの統合によって互換性検証の複雑さもある程度増大します。ハイパーコンバージド アーキテクチャでは、管理、コンピューティング、ストレージ、高可用性には通常、独立した仮想ネットワークの構成が必要になり、ネットワーク構成も複雑になります。同時に、共有物理リソースの割り当て、分離、およびスケジュール設定も複雑さを増します。障害が発生すると、問題の追跡、デバッグ、分析が困難になります。

ハイパーコンバージド アーキテクチャのストレージ ロジック ユニットには、これまでは高度なストレージでのみ利用可能だった多くの機能がすでに備わっています。しかし、データ保護、レプリケーション、災害復旧、高可用性という点では、データ ストレージ レベルに関連するこれらの要件は、ハイパーコンバージド ベンダーが注意を払うためにエネルギーを費やさない、または注意を払うことができないものです。同時に、アーキテクチャ自体の制限により、ユーザーの選択肢が比較的狭くなります。ハイパーコンバージド アーキテクチャを超大規模コンピューティング センターで満たすことはできません。構造化データと非構造化データの大幅な増加など、データ ストレージに対するユーザーの多様な要求は、ハイパーコンバージェンスで解決するには適していません。多くのユーザーは、当初、コンピューティングとストレージの分散容量の拡張を希望していましたが、コンピューティング リソースの需要が大きく、ストレージ リソースの需要が少ない、またはその逆など、コンピューティングとストレージの割合が不均衡であることに気付きました。すべてをハイパーコンバージェンスに任せるというのは、非常に悪いアーキテクチャ設計です。