Alibaba Cloud の Fei-Fei Li: クラウドネイティブ データベースとは何ですか?

[[406961]]

クラウド ネイティブは、クラウド コンピューティングの新しいテクノロジー システムであり、将来の開発方向です。本日は、クラウド ネイティブとは何か、クラウド ネイティブがディストリビューションとどのように有機的に結合されるか、そしてクラウド ネイティブ テクノロジーがお客様のデジタル ネイティブ時代への参入にどのように役立つかについてお話しします。

[[406962]]

Fei-Fei Li 氏は、Alibaba Group の副社長、ACM の著名な科学者、Alibaba Cloud データベース製品部門の責任者、DAMO Academy のデータベースおよびストレージ研究所の責任者を務めています。

One Cloud Native: 小さな池から川や海まで

クラウドネイティブデータベースは海外では「Cloud-Native Database Systems」と呼ばれ、中国語では「クラウドネイティブ」と翻訳されています。クラウド ネイティブを理解するには、まず「クラウド」と「ネイティブ」という 2 つのキーワードを理解する必要があります。

従来のデータベースのシステム アーキテクチャでは、システムの利点を最大限に引き出すために、密に結合された設計方法が必要です。実際の例を挙げると、昔は各家庭が水の消費量に応じて井戸を掘っていました。これは、従来のデータベース システムがコンピューティング リソースとストレージ リソースを使用する方法と同じですが、緊密に結合された方法です。水が足りない場合はどうなりますか？これに対応して、これは従来のデータベース システムでよく言及されるビジネス拡張です。金融業界では、データベース システムの拡張には通常、数か月または半年前に計画を立て、その後、詳細な展開と綿密な実装、オンライン化 (グレースケール)、検証を行う必要があります。プロセス全体は拡大と縮小を目的としています。従来の容量拡張プロセスは非常に長く、ビジネスピーク後の容量削減も苦痛を伴うため、多くの場合、膨大なリソースの浪費につながり、ビジネス層で要求される急速な変化への対応が困難になります。これは、従来のアーキテクチャの最大の欠点の 1 つです。

これらの概念と背景を明確に理解していれば、クラウド ネイティブを理解するのは簡単になります。 「クラウド」とは、仮想化技術を使用してリソースをプールすることです。水は資源です。緊密に結合された方法で展開および使用する必要はありません。各家庭が井戸を掘る必要はありません。代わりに、村全体が協力して湖や池を「掘り」、それを各家庭につなぐパイプを建設することができます。これはリソースプーリングです。リソースをプールした後は、必要に応じて大量に使用でき、柔軟にスケジュールできます。リソースを切り離すこともできます。たとえば、キッチンをコンピューティング ノードとして使用し、水をストレージ ノードとして使用できます。いつでも切り替え可能です。このキッチンが十分でない場合は、システム スケジュールを使用して、他の 2 つまたは 3 つのキッチンをすぐにコンピューティング用に呼び出すことができます。これは、さまざまな種類のリソースを分離してプールするクラウド ネイティブのコア ロジックです。元々独立していた井戸を、背後の目に見えない川、湖、または海に融合させます。具体的には、たとえばクラウドネイティブのコンピューティングとストレージを分離したアーキテクチャでは、ビジネスノードは必要に応じてコンピューティングとストレージを自由かつ迅速に拡張および縮小できます。

クラウドネイティブによってもたらされる本質的な変化は、井戸と池のようなものだと言えます。クラウドが拡大し続けるにつれて、ますます多くのアプリケーションがクラウドに移行されます。池はもはや池ではなく、川または海です。クラウドネイティブがもたらす最大の技術的、経済的利益は、大規模なアプリケーションによってもたらされる限界コスト削減効果です。したがって、パブリック クラウドを使用して展開されるか、プライベート クラウドを使用して展開されるかに関係なく、クラウド ネイティブ テクノロジへの進化の傾向は自然であり、非常に明確です。この限界費用削減効果が製品に反映されると、顧客は恩恵を受け、TCO は確実に減少します。

データベースの未来: クラウドネイティブ + 分散

世界的に有名なコンサルティング会社ガートナーは、クラウドがデータベース市場の将来を支配するだろうと指摘した。 2022 年までに、データベースの 75% がクラウド プラットフォームに導入または移行され、ローカルで実行されるデータベースは 25% のみになります。クラウド コンピューティングは間違いなく未来を象徴しており、企業がクラウド ネイティブ アーキテクチャの下でデータベースをどのように使用するかは、検討しなければならない問題となっています。

企業のビジネスがデジタル化、オンライン化、インテリジェンス化へと進化するにつれ、企業は急増する膨大なストレージの需要と課題に直面しています。企業は、ホットスポットや突然の交通渋滞によってもたらされるさらなる課題に直面しています。企業はコストを削減し、効率を高め、よりスマートなデータ決定を行う必要があります。従来の商用データベースでは、急速に増大するビジネス需要を満たし、対応することができませんでした。

アーキテクチャの革新という点では、クラウド ネイティブと分散を組み合わせています。新しいクラウド ネイティブ分散アーキテクチャ データベースは、高いスケーラビリティ、使いやすさ、高速な反復、コスト削減などの特徴を備えており、企業が上記の問題を適切に解決するのに役立ちます。今後、データベースもクラウドネイティブ、分散型の時代へと本格的に突入します。具体的には：

1. 高いスケーラビリティ

クラウドネイティブ分散データベースは、基盤となるクラウド コンピューティング インフラストラクチャから分離されているため、リソースを柔軟かつタイムリーに動員して容量を拡大および縮小することができ、トラフィックの急増による圧力や、トラフィックが少ない期間の過剰なリソースによる無駄に冷静に対処できます。エコロジカルな互換性により、クラウドネイティブ データベースの移植性も高まります。

2. 使いやすさ

クラウドネイティブの分散データベースは非常に使いやすいです。コンピューティング ノードはクラウドに展開されており、いつでもどこからでも複数のフロントエンドからアクセスできます。クラスターはクラウド上に展開されており、自動化された災害復旧機能と高可用性機能により、単一障害点がサービスに与える影響は非常に小さくなります。サービスをアップグレードまたは置き換える必要がある場合、サービスを中断することなくノードをローテーション方式でアップグレードできます。

3. 迅速な反復

クラウドネイティブ分散データベース内のサービスは互いに独立しており、個々のサービスの更新は他の部分に影響を与えません。さらに、クラウドネイティブの R&D テストおよび運用・保守ツールは高度に自動化されており、より俊敏な更新と反復を実現できます。

4. コスト削減

データ センターの構築は独立した完全なプロジェクトであり、データ センターを管理および保守するための専門的な運用および保守担当者だけでなく、多額のハードウェア投資も必要になります。さらに、継続的な運用とメンテナンスは大きな財政的圧力を引き起こします。クラウドネイティブ分散データベースは、初期コストを抑えながら、より最適化されたリソース割り当てを備えたスケーラブルなデータベースを実現します。

3. 「ビッグデータとデータベースシステムの統合」の新時代

現在、データベース分野にはいくつかの中核的な開発トレンドがあります。前述のクラウドネイティブと分散テクノロジーの統合に加えて、HTAP やオフラインとオンラインの統合を含むビッグデータとデータベースの統合もあります。自己認識+自己意思決定+自己回復+自己最適化といったインテリジェント技術の深い統合。マルチモデル;新しいハードウェアの利点を最大限に活用するためのソフトウェアとハ​​ードウェアの統合。安全で信頼できるテクノロジー、つまり検証可能なログ、データプライバシー保護、安全なマルチパーティコンピューティング + フルリンク暗号化。

データ分析の分野では、企業は膨大なデータのディープコンピューティングと分析を効率的に解決することが急務となっています。次世代のデータ分析の進化の方向は、「クラウドネイティブを基盤とし、オフラインとオンラインの統合技術を統合して、データベースとビッグデータの統合を実現する」ことであるべきです。 「データベースとビッグデータの統合」のクラウドネイティブデータ分析システムは、弾力的な拡張、大規模なストレージ、マルチコンピューティング、低コストの機能を提供し、大量のデータのディープコンピューティングと分析のビジネス分析とイノベーションの要求を効果的に解決します。

「データベース・ビッグデータ統合」も近年の業界の発展トレンドです。ガートナー社のレポート「DBMS 市場は 1 つだけ」では、これまではビジネス シナリオや分析およびトランザクションのニーズに応じて、OPDBMS (トランザクション処理) と DMSA (管理と分析) を個別に開発する必要があったと指摘しています。将来的には、分析およびトランザクション データ操作は技術アーキテクチャへの依存度が低くなり、OPDBMS と DMSA を個別に区別する必要がなくなります。ほとんどの要求は、統合データ処理技術を通じて満たすことができます。

技術アーキテクチャの進化の観点から、Google は 2003 年から 2006 年にかけて、Google File System、MapReduce、BigTable という大規模データ ストレージおよび処理テクノロジに関する 3 つの論文を発表し、今日のビッグ データ テクノロジ エコシステム全体の基礎を築きました。 2012年から現在に至るまで、クラウドコンピューティングの発展に伴い、クラウドコンピューティングのリソースプーリング、ストレージとコンピューティングの弾力的な拡張などのインフラストラクチャのアップグレード、コンピューティングとストレージの分離、オンラインとオフラインの統合などの技術革新により、データ処理はクラウドネイティブのオープンコンピューティングとストレージとコンピューティングの分離に向けて進化してきました。 Snowflake、AWS Redshift、AWS Aurora、AWS Athena に代表される新世代のクラウドネイティブ データベース、データ ウェアハウス、データ レイクが誕生し、オンライン、オフライン統合、構造化と非構造化の融合処理に向けたデータ処理の進化が加速し、ビジネスを新たな形のデジタル化とデジタル革新へと加速させています。

まとめると、「データベース・ビッグデータ統合」のデータ分析システムは、クラウドネイティブなどいくつかの特徴を持つべきだと私は考えています。複数の計算のための 1 つのストレージ。大規模なストレージ、構造化、半構造化、非構造化データベースの保存と計算のサポート。データベース エコシステムとの完全な互換性。

4つ。クラウドネイティブ時代: 中国のデータベースにとっての新たな歴史的機会

2020年、ガートナーは毎年恒例のグローバル データベース マジック クアドラント評価の結果を発表しました。ガートナーは、OPDBMS（トランザクションリレーショナルデータベース）とDMSA（ビッグデータ管理および分析）を新しいクラウドDBMS市場（統合クラウドデータベースシステム市場）に統合したため、この評価はより包括的であり、「クラウド」の開発動向も表しています。 Alibaba Cloud は、グローバル データベースの最初の陣営であるリーダー クアドラントに参入しました。これは中国のデータベースの歴史における大きな進歩であり、ガートナーのマジック・クアドラントの基本ソフトウェア業界で中国が世界的リーダーとなった初めてのケースである。これは、中国の技術がますます国際舞台へと進み、この舞台のリーダーになりつつあることを表しています。ガートナーのアナリストは、「アリババクラウドは、豊富な種類のデータベースと完全な製品レイアウトを備えています。ユーザーにさまざまなリレーショナル、分析、非リレーショナルデータベース製品を提供します。また、ハイブリッドクラウド環境の展開も提供し、バックアップ、データ移行、同期機能を統合しています。最も重要なのは、アリババクラウドが非常に強力な技術力と革新力を備えていることです。」と述べています。

OLTP 分野では、Alibaba Cloud は、コアとなるクラウドホスト型データベース サービス RDS のほか、クラウドネイティブのリレーショナル データベース PolarDB と分散バージョン PolarDB-X を提供しています。 Alibaba Cloud RDS には、インテリジェンス、セキュリティ、信頼性、簡単な操作と保守、高可用性、高いコスト効率など、多くの機能があります。 PolarDB は、中国初のクラウドネイティブ リレーショナル データベースであり、ストレージとコンピューティングを分離したアーキテクチャに基づく中国初のクラウドネイティブ データベースでもあります。小売、通信、物流、金融など、複数の業界で本格的に導入されています。 PolarDB-X は、クラウドネイティブの分散統合アーキテクチャに基づいて設計されており、数千万の同時ユーザーと数百 PB の大規模ストレージをサポートできます。 Alibabaのオンラインコアシステムで広く使用されており、長年にわたりTmallのDouble 11を安定的にサポートしてきました。システム負荷が1秒間に145倍に増加しても安定した状態を維持しました。 OLAP分野では、Alibaba Cloudは、新世代のクラウドネイティブデータウェアハウスであるAnalyticDBと、クラウドネイティブデータレイク分析であるData Lake Analyticsをリリースしました。 AnalyticDB は、公式 TPC-DS/TPC-H 認証で優れた結果を獲得し、国家税務局、郵便局、上海市頭脳などの超大規模顧客をサポートする、新世代のクラウドネイティブ データ ウェアハウスです。 NoSQL分野では、Alibaba CloudはクラウドネイティブのマルチモードデータベースLindormとクラウドネイティブのインメモリデータベースTairをリリースしました。さらに、エンタープライズレベルのデータベースエコシステムツール製品システムとクラウドネイティブのインテリジェントデータベース管理および制御プラットフォームも構築しました。

Alibaba Cloud は、ますます完全なクラウドネイティブ データベース製品システムを構築しており、顧客はこのエコシステム内のデータベース メソッドを使用して、データ処理、ストレージ分析、コンピューティングで直面する多くの課題や問題を解決できます。これは Alibaba Cloud Database の基本的な出発点であるだけでなく、顧客にとって学習曲線とアプリケーション コストが最も低いソリューションでもあります。今後、当社は常に顧客のニーズを重視し、顧客の視点から出発し、顧客を第一に考え、顧客価値を創造し、顧客の悩みを解決する製品にさらに多くの研究開発リソースを投資し、テクノロジーで新しいビジネスを創造していきます。