クラウドネイティブデータミドルプラットフォームの技術とトレンドの解説

データミドルプラットフォームの開発は、一般的に、データベース、データウェアハウス、ビッグデータプラットフォーム、データミドルプラットフォームという 4 つの重要な段階を経てきました。あらゆる新しい変更は、前の段階で存在していた問題を解決することを目的としています。

現在、データミドルプラットフォームにとってクラウドネイティブへの移行は不可避かつ必要になっています。

[[397831]]

1. クラウド ネイティブはどこから来たのでしょうか?

クラウド ネイティブは、クラウド上でアプリケーションを構築および実行する方法を説明するために使用される方法論です。

私たちは、「クラウド ネイティブ」は新しい概念ではないと考えています。クラウド コンピューティングの歴史を振り返ると、個人用アプリケーションからエンタープライズ レベルのアプリケーションまで、すでに「クラウド化」が始まっています。

当初、これらの「非ネイティブ」クラウドベースのアプリケーションは、プライベート展開の技術アーキテクチャを継続し、ローカル ソフトウェアを変更せずに ECS を通じてクラウドに移行しました。 ECS の欠点は、コンピューティングは実行できるが、ストレージは実行できないことです。クラウド上のアプリケーションはビジネス接続性を実現しましたが、ビジネスが拡大するにつれて、元のアーキテクチャの「可用性」は大幅に低下しました。

データ保存問題を解決するために、国内のクラウドベンダーはクラウドディスクを作成し、それをクラウドホストにマウントして、プログラムを変更することなくデータのバックアップを実現しました。クラウド上の従来のソフトウェアの「高可用性」の問題が解決されました。

しかし、このアプローチには別の欠点、つまり高コストが伴います。顧客は Hadoop を変更せずに ECS ノードに直接デプロイし、HDFS 経由でクラウド ディスクにデータを保存しますが、これには多額のコストがかかります。したがって、オブジェクト ストレージにデータを保存するには、基盤となる HDFS を変更する必要があります。

需要が高まり続ける中、ビジネスとデータの爆発的な増加に対応するためには、IaaS と PaaS の技術的特性に応じてシステムを再構築する必要があります。 「クラウド ネイティブ」は、プライベート展開と前世代の従来のテクノロジのソフトウェア アーキテクチャと運用保守方法論に基づいて、「高可用性」や「低コスト」などの属性を備えてアップグレードされています。

2. クラウドネイティブ データセンターの技術的要素は何ですか?

「クラウド ネイティブ」という概念は、私たちにとってもはや馴染みのないものではないほどに発展しました。 「クラウドネイティブなデータミドルプラットフォームこそが未来である」ということを強調する必要があるのはなぜでしょうか?階層型マルチドメイン データ ガバナンスの厳格な要求、コストを削減して効率を高めるクラウド ネイティブ テクノロジの自然な特性、独立した制御可能な国内インフラストラクチャの必要性など、これらすべてがデータ ミドル プラットフォームをクラウド ネイティブへと押し進めています。

そこで、クラウドネイティブ データ ミドル プラットフォームの技術要素を、CI/CD (継続的インテグレーションと継続的デリバリー)、コンテナ化、オブジェクト システム、ストレージとコンピューティングの分離、クロスクラウドおよびマルチドメインのデータ ガバナンス、メタデータ管理の 6 つのポイントにまとめます。

1. CI/CD (継続的インテグレーションと継続的デリバリー)

CI/CD の本質は、開発とデプロイメントの効率を向上させることです。

業務量が膨大であるため、ビッグデータやクラウドの運用・保守にかかる人件費は非常に高額になります。そのため、自動化された運用と保守には、多数の自動化ツールとビッグデータ予測アルゴリズムが必要になります。バージョン管理システムと DevOps インフラストラクチャを通じて自動テストと継続的インテグレーションを実装します。

一般的なプロセスとしては、プログラマーが特定のタグにコードを送信し、テスト インターフェイスをトリガーして自動テスト スクリプトを実行し、レポートを送信します。これにより、テスト、リリース、およびデプロイメントの自動化が可能になります。これに基づいて、重要なインターフェースとリンクを自動的に検出するための特定のデータ環境が構築されます。

2. コンテナ化

コンテナ化は本質的には仮想化技術です。 1 つのホストで数千のコンテナを仮想化できます。

単一のコンテナは起動が速く、占有スペースが少なく、実際のアプリケーションのサイズに基づいてリソースを柔軟に割り当てることができるため、追加のサーバーを購入する必要がなくなり、研究開発がスピードアップします。コンテナを使用してインフラストラクチャをオーケストレーションし、サービスとジョブを管理し、バージョン ヘルを排除し、運用と統合の効率を大幅に向上させます。

コンテナ化されたオーケストレーションと CI/CD は相互に統合されています。データミドルプラットフォームの分野では、数十台のマシンと数百のプロセスが同時に実行されることが多く、これらのプロセスは独自のプログラムだけでなく、顧客のプログラムも実行する必要があります。

したがって、基盤となるマイクロサービスには多くのプロセスがあります。セキュリティコンプライアンス要件に基づいて、顧客間のプログラムは分離されたままである必要があります。したがって、データ ミドル プラットフォームでは、他のクラウド ネイティブ アプリケーションよりもコンテナ化の要件が高くなります。

3. オブジェクトシステム

既存のビジネスに基づいてコア オブジェクトを抽象化し、標準の RESTful スタイルで API サービスを提供して、コア オブジェクトとビジネス レイヤー サービスを分離し、さまざまな環境とビジネス シナリオのニーズに対応します。この一連の直交コア オブジェクトはプラットフォーム オブジェクト システムを構成し、上位レベルのビジネスはその上でアプリケーションを構築し、効率的に進化させることができます。

オブジェクト システムの API は、洗練されていて前方互換性があり、一度リリースされると変更が困難である必要があります。たとえば、WIN32 の開発中に、ある単語のエラーが発生し、数十年経っても修正できませんでした。したがって、オブジェクト システムは非常に詳細かつ正確に設計する必要があります。

4. ストレージとコンピューティングの分離

クラウドの分散性により、クラウド上の ECS にデータを自然に保存することはできません。したがって、キーデータと状態データはオブジェクトストレージに保存する必要があります。多数のプライベート コンポーネントを書き換える必要があります。 Hadoop や Spark などの従来のオープンソース ビッグデータ エンジンをクラウド ホストに直接適用すると、膨大な量のデータによってもたらされるストレージ コストとスループットの圧力により、顧客はすぐに圧倒されてしまいます。

そのため、コンピューティングとストレージの分離を実現し、オブジェクト ストレージにデータを保存し、HDFS プロトコルと互換性を持たせるために、中間キャッシュを導入する必要があります。ビジネスニーズに応じて柔軟に拡張できるため、コストを大幅に削減し、クラスターのパフォーマンスを向上させることができます。

5. クロスクラウドおよびマルチドメインのデータガバナンス

クラウドネイティブ データセンターの主な利点は、クロスクラウドとマルチドメインを実現できることです。

たとえば、顧客が AWS 上のデータ ミドル プラットフォームを使用しており、別のプラットフォームに移行する必要がある場合、クラウド ネイティブ データ ミドル プラットフォームでは、コードを変更せずに直接移行を実現できます。複数の事業と膨大な量のデータを持つ大企業の場合、データ資産が 1 つのプラットフォームに縛られないように、サプライヤーを多様化する必要があります。

したがって、顧客はサプライヤーと連携しながら、独立したサードパーティのデータ ミドル プラットフォームを使用して、クロスクラウドおよびマルチドメインのデータ ガバナンス機能を提供し、インフラストラクチャの制御性とセキュリティを向上させる必要があります。

6. メタデータ管理

データ量が劇的に増加すると、データ管理が大きな問題になります。

クラウドネイティブデータミドルプラットフォームのメタデータ管理機能は、データ構造、インジケーター、ラベル、権限、上流と下流の系統、生産操作などのメタデータの管理を標準化し、インテリジェントなデータガバナンスシステムを確立します。また、データ インベントリ、セキュリティ監査、系統分析、キー分類などのアプリケーションもサポートし、最終的にデータ資産化を実現します。

たとえば、あるトップブランドには 73 のビジネス システムがあり、それぞれが異なるデータベースとストレージ メディアに保存されています。 73 のシステムすべてを、ラベル付けと接続のためのデータ プラットフォーム上で集中管理する必要があります。この要件では、データ ガバナンスが非常に重要であり、その中核となるのはメタデータ管理です。したがって、クラウドネイティブ データ センターにはメタデータ管理機能が必要です。

3. クラウドネイティブ データ センターはユーザーのどのような問題を解決できますか?

上記 6 つの技術的機能を備えたデータ ミドル プラットフォームは、クラウド ネイティブへの移行後の重要なアップグレードです。これらの機能に基づいて、クラウドネイティブ データセンターはユーザーのどのような問題を解決し、コスト削減と効率向上をもたらすことができるのでしょうか?

1. 研究開発効率の向上

マイクロサービス、CI/CD、オブジェクトシステム、DevOpsなどの一連のテクノロジーを通じて、反復速度が向上し、複雑なクラウド環境での制御と自動化された運用・保守制御が強化されます。コード開発、テスト、リリースの効率を向上させ、反復コストを削減します。

2. 運用・保守コストの削減

上記の技術により、開発と運用保守の効率的な連携も実現し、障害への対応速度を効果的に向上させ、継続的な統合と配信を実現できます。これにより、アプリケーションの迅速な導入がビジネス プロセスと企業の競争力の重要な部分となり、運用および保守コストが削減されます。

3. ストレージとコンピューティングのコストを削減

ビッグデータ インフラストラクチャのストレージとコンピューティングのコストは驚異的です。ストレージとコンピューティングの分離とコンテナ化により、IaaS リソースをより効率的に使用し、ストレージ コストを削減できます。ストレージノードとコンピューティングノードを分離すると、ストレージ容量を拡張することなくコンピューティングリソースを迅速に増やすことができます。

一方、単一のコンテナは起動が速く、占有スペースが少なく、追加のサーバーを購入することなく、実際のアプリケーションのサイズに基づいてリソースを柔軟に割り当てることができます。

4. ガバナンスの効率性を向上させる

ガバナンスの効率はデータ ガバナンスに限定されず、自動化された設計とフレームワークを必要とするマイクロサービス ガバナンス、システム ガバナンス、API ガバナンスも含まれます。クロスクラウドガバナンスやメタデータ管理などのテクノロジーの使用により、企業のデータ資産蓄積の効率が大幅に向上し、セキュリティリスクが軽減され、サプライヤーの多様性が向上します。