未来はここにあります!分散データベースの「星の海」は、決して置き換えに限定されません。

2、3年前、分散データベースなどの技術について話すとき、この新しい技術の応用の見通しを説明するために「将来」などの言葉がよく使われていたことを覚えています。 2020年、新世代データベースのリーダーであるSnowflakeが株式公開に成功し、ソフトウェア企業としては史上最大のIPOとなりました。振り返ってみると、未来はすでに到来していることに気づきます。

しかし、企業内で分散データベースを適切に実装する方法は、業界では常に議論の焦点となってきました。中国では、ほとんどの読者が分散データベースについて初めて知るときに最初に尋ねる質問は、「分散データベースは Oracle に取って代わることができるか?」です。しかし、世界のデータ開発の方向性から判断すると、その爆発的な成長は主にデジタルイノベーションに基づく多様なビジネスシナリオに集中しています。したがって、従来の Oracle のコアとなる優位性の固有の領域を単純に置き換えることは、データベースの将来の成長方向ではありません。 Snowflake を例に挙げてみましょう。同社の事業はオラクルのコアアプリケーション分野に取って代わったわけではないが、4億ドルの収益を700億ドルの市場価値と交換した。これは、データ市場におけるオラクルの主導的地位を揺るがすものだ。この背後にある理由は検討する価値があります。

「置き換え」を前提とした考え方では「超える」ことはできない

実際、Oracle の置き換えに関しては、「はい」または「いいえ」という万能の答えはありません。分散データベースを設計する本来の目的は、既存のシステムを単に置き換えるのではなく、Oracle が対応できないシナリオにおいて、新たな実際的なビジネス上の問題を解決し、企業顧客とともにデジタル変革の機会を活用することです。

従来のリレーショナル データベースは、40 年以上にわたってコア トランザクションなどの分野に深く関わってきました。これまでのところ、純粋なトランザクションシナリオのほとんどは、データ量やビジネスモデルの面で根本的な変化を遂げておらず、ビジネス拡大の余地も非常に限られています。企業のデジタル変革の過程では、ビジネスの発展に伴ってデータ量が急速に増加し、新たなビジネスニーズとデータの増加が形成され、データベースに新たな市場機会がもたらされます。

従来のリレーショナル データベースと比較して、分散データベースは ACID トランザクションの一貫性を提供するだけでなく、より柔軟な拡張機能と複数のデータ モデルを処理する機能も備えています。膨大なデータの柔軟な拡張という新たなビジネス ニーズに直面した場合、「Oracle を使用せず、分散データベースを選択する」ことが、業界で分散アーキテクチャを適用する際のベスト プラクティスです。言い換えれば、新しいデジタルビジネスが徐々に従来のビジネスに浸透し、新しいデータコアシナリオになるにつれて、分散データベースを段階的に反復することが、企業における分散データベーステクノロジーの最適な実装ソリューションです。

したがって、分散データベースの広大な世界は、従来のリレーショナル データベースの単純な代替品ではありません。新しいテクノロジーの使用と推進のためだけに既存のアーキテクチャを置き換えると、大きな技術的リスクと課題に直面することになります。企業顧客の視点に立ち、顧客とともにデジタル変革における新たなデータ価値を模索することによってのみ、固有の枠組みを打破し、新たな分散型技術の軌道を確立し、従来のアーキテクチャの境界を超越することができます。

最適な着陸シーンの選び方

ビジネスシーンの観点から見ると、1970年代後半にリレーショナルデータベースが誕生して以来、OracleやDB2などのデータベースは40年以上の開発の歴史を経てきました。彼らの固有のビジネスシナリオにおいては、彼らは基本的に業界の頂点に達しています。しかし、従来のトランザクション データベースでは、新しいデータ ミドル オフィスのオンライン レイク ウェアハウス、マイクロサービス データ フュージョン管理、大量データへのリアルタイム アクセス、非構造化オンライン処理に対応できないことは明らかです。企業顧客が分散データベースの実装シナリオを選択する場合、自社の強みと能力を真に活用できる適切なアプリケーション シナリオを選択し、技術チームの運用および保守能力を継続的に磨き、徐々にコアへと押し上げていく必要があります。

1) データセンターオンラインレイクウェアハウス

多くの企業の IT アーキテクチャ計画では、データ ミドル プラットフォームは、履歴データ プラットフォームや非構造化データ処理などの複数のデータ モデル領域を含む IT 戦略全体の一部となり、ビジネス アプリケーション システムを除く企業内のほぼすべてのデータ処理およびサービス機能をカバーしています。

このシナリオでは、Oracle はスケーラビリティ要件を満たすことができず、Hadoop はリアルタイムの同時実行サービスをサポートできません。国際的にこれに直接対応する技術システムは存在せず、最も近いのはLakehouse（レイクウェアハウス統合）です。レイクハウス業界の主なベンダーには、Snowflake や Databricks などの分散データベース ベンダーが含まれ、その製品はデータ レイクとコンピューティング エンジンという 2 つのコア モジュールに分けられます。 2020 年に、ガートナーは拡張トランザクション処理シナリオをさらに導入し、トランザクションの一貫性を重視し、分析処理プロセス中にデータベースが低レイテンシを維持してリアルタイムのオンライン処理機能を向上させることを要求しました。

拡張トランザクション処理機能をサポートするオンライン レイク ウェアハウスにより、データ センターのリアルタイム オンライン処理機能が強化され、データを一度保存​​して複数のビジネスや複数のデータ モデルで同時に使用できるようになり、データ処理の効率が向上し、データの冗長性が削減され、より環境に優しいデータ インフラストラクチャが提供されると予測されます。

2) マイクロサービスデータ融合管理

マイクロサービス アプリケーション開発アーキテクチャが徐々に主流になるにつれて、1 つのアプリケーションが 1 つのデータベースに接続するという従来のアーキテクチャは、数十または数百のマイクロサービスに分割されてきました。各マイクロサービスでは、独立したデータベース インスタンスを使用する必要がある場合があります。そのため、近年、企業内のデータベース インスタンスの数は爆発的に増加しています。

分散データベースの出現により、データベース インスタンスのバッチ管理における困難な拡張とメンテナンスの問題を効果的に解決できます。同時に、エンジンレベルのマルチモード技術に基づいて、分散データベースは同じデータに基づく複数のデータベースエンジンのオンライントランザクションをサポートし、エンジン間のトランザクション一貫性機能を通じて、マイクロサービスアーキテクチャの下で異種データソースの ACID 一貫性を実現できるようにお客様を支援します。したがって、Oracle などの従来のデータベースと比較して、分散データベース テクノロジーはマイクロサービスに適しており、企業の基盤となるデータを接続し、データの保存と管理のコストを削減します。 R&D チームが DevOps の継続的デリバリーを実行し、製品の R&D 効率を向上できるよう支援します。

3) 膨大なデータへのリアルタイムアクセス

膨大なデータの保存と計算は通常、データ ウェアハウス (MPP データベース) またはビッグ データ プラットフォーム (Hadoop) によって行われ、データ量は数千億 (または数兆) に達することもよくあります。従来のアプリケーションでは、データ ウェアハウスでデータのクリーニングと保存を事前に完了する必要があるため、データ ウェアハウスとビッグ データ プラットフォームはリアルタイムの同時データ アクセスをサポートできません。既存のプラットフォームの処理モデルに制限されるため、オンラインビジネスの革新が困難です。しかし、デジタル変革のプロセスでは、顧客のオンライン取引、履歴データ サービス プラットフォーム、または IoT システムで、膨大な量のデータをオンラインでリアルタイムに処理する必要があるソリューションが生まれます。

このシナリオでは、分散データベースにより、企業顧客はより優れたユーザー エクスペリエンスを実現できます。まず、分散データベースは、Hadoop やデータ ウェアハウスと同様に、優れた弾力的なスケーラビリティを備えています。第二に、分散データベースは、従来のリレーショナル データベースと同じ ACID サポートを提供して、主要ビジネスのトランザクションの一貫性を確保できます。最も重要なのは、分散データベースは、高同時実行性のビジネス アクセスをより適切にサポートし、単一マシン データベースを使用する場合と同様に、数千億または数兆のレコードを含むテーブルでミリ秒レベルのデータ取得を実現できることです。

4) 非構造化データガバナンス

非構造化データには、画像、ドキュメント、オーディオ、ビデオなどのオブジェクト ファイルが含まれます。これらは、以前は単にストレージ システムに保存され、単一の保存および取得機能を提供していました。そのため、これらのファイルを直接操作する業務システム以外では、非構造化データは企業内の他のシステムに対してブラックボックスとなり、データの潜在的な価値を実現することができません。

今日のビジネス システムでは、この種の非構造化データをオンラインで大規模に使用し始めることがよくあります。例えば、業務においては、各種書類収集、取引処理の規制要件で求められる顔写真、指紋、声紋の原本ファイルの保管、各種業務の360°顧客ポートレートシステムなどが必要となります。処理プロセスでは、非構造化データとの高頻度の比較、同時処理、およびサンプリング補正が必要です。これらのシナリオではすべて、非構造化データのオンラインリアルタイム管理が必要です。大量の非構造化データを NAS またはネットワーク ディスクを使用して保存するだけでは、このようなリアルタイムのオンライン処理機能のニーズを満たすことは長い間できませんでした。

同時に、デジタル変革における非構造化データは、もはや静的なファイルではありません。 AI機械学習と比較分析により、非構造化データにはより多様なビジネス属性が含まれ、さまざまなビジネスシステムに情報入力が提供されるようになります。したがって、非構造化データ資産の潜在的な価値を活性化するには、効果的な分類とガバナンスを実行する必要があります。

分散データベースは、非構造化データのリアルタイム処理機能を効果的に向上させることができます。構造化データとオブジェクトデータを均一に保存するエンジンレベルのマルチモード機能と組み合わせることで、ラベル機能データに基づく分類ガバナンスを効果的に実装でき、同社の「非構造化データガバナンス」の強固な基盤となります。

分散技術の進化の傾向

技術的な観点から見ると、さまざまな業界の大量データとインターネット アプリケーションに対する需要が急速に発展するにつれて、弾力的な拡張やマルチ モードなどの機能は従来の Oracle データベースでは対応が難しくなり、分散データベースの最大の価値と存在目的にもなっています。このような技術的背景では、最も正しい答えは「Oracle の代わりに分散データベースを選択する」ことです。分散データベースを実装して使用する最善の方法は、大規模なデータ ビジネスからコアへと徐々に反復することです。当社は、膨大なデータの弾力的な拡張という新たなビジネスニーズからスタートし、ビジネスイノベーションが深まるにつれて、徐々に従来のビジネスやアプリケーションに浸透していきます。

1) 弾力性: ストレージとコンピューティングの分離により柔軟な拡張が可能

分散データベースとして、弾力的な拡張機能こそがその存在意義と価値の中心です。従来の MPP データ ウェアハウスと比較して、新しい分散データベースは、ストレージとコンピューティングを分離したデプロイメント モデルに基づいて、ストレージとコンピューティング リソースを独立して拡張する機能を実現し、アプリケーション層に認識されることなくオンデマンドの柔軟な拡張を実現できます。

2) トランザクション: ネイティブ分散型の強力な一貫性

分散テクノロジーが徐々にビジネスの中核に近づくにつれて、ACID トランザクションの一貫性に対する顧客の要件は増加し続けます。例えば、オンライントランザクション業務では、「RR レベルのトランザクション分離」機能が求められる場合が多くあります。このような需要では、シャーディング テクノロジに基づくソリューションはデータベース自体ではサポートされません (一部の製品ではトランザクション サポートが提供されないか、1PC 送信によってトランザクション サポートが弱められます)。その結果、最終的な一貫性の効果を実現するために多くの周辺アプリケーション ロジックの調整が必要になり、開発者の設計エネルギーが大量に消費されます。ネイティブ分散データベースに関しては、カーネルから生まれた分散設計のおかげで、顧客はトランザクションの一貫性ロジックをデータベース層に安全に任せて処理できるため、開発者は純粋なビジネス設計に戻ることができ、ビジネスに直接的かつ効果的な研究開発成果を提供し、企業の研究開発効率を向上させることができます。

3) 統合: エンジンレベルのマルチモードにより、レイクウェアハウス統合の新しい道が開かれます。

40 年以上の開発を経て、リレーショナル データベースは、元の純粋に構造化されたモデルから進化し、XML、JSON、地理情報、グラフなどのさまざまな機能をサポートするようになりました。従来のデータベースでは、同じ物理デバイス上で同種のエンジンが使用されるため、マルチモード機能を十分に活用することが困難です。分散データベース アーキテクチャでは、ユーザーはさまざまな物理デバイスと基盤となるデータ構造を使用して、さまざまなデータ モデル用のコンピューティング エンジンとストレージ エンジンを実行できるため、ネイティブ エンジン レベルのマルチモード テクノロジを真に実現できます。これにより、異なるデータ モデル、さらには異なるデータベース言語やエンジン間でのデータ共有が可能になり、異なるモデル間でのオンライン処理時に頻繁なデータ コピーによって発生する転送遅延やストレージ スペースの無駄を回避できます。マルチモード機能に基づいて、構造化データ、半構造化データ、非構造化データのニーズを満たすようにデータ レイクが構築されます。同時に、エンジン間のデータ一貫性とリアルタイムデータ分析機能が提供され、グローバルデータをリアルタイムで可視化できるようになります。したがって、開発者はさまざまなデータ エンジン間の開発ギャップを埋め、開発効率とシステム パフォーマンスを向上させ、分散テクノロジの新しい道を切り開くことができます。

要約する

従来のリレーショナル データベースは 40 年以上の開発を経て、コア トランザクション領域ではほぼ限界に達しています。新しい分散データベースのベンチマークにコア トランザクション シナリオのみを使用することは、従来の馬車の標準を使用して新興の自動車技術を測定するようなものです。このアプローチでは、新しいテクノロジーを合理的に評価することができません。

分散データベースの誕生は、何よりもまず、従来のデータベースが苦手とするシナリオを解決するために行われました。また、リレーショナル データベースがピークに達した領域を完成させるには長い時間がかかります。高い弾力性、強力なトランザクション一貫性、マルチモード統合などの特性により、近年、多くの企業がデータミドルエンドオンラインレイクウェアハウス、マイクロサービスデータフュージョン管理、大量データへのリアルタイムアクセス、非構造化オンライン処理などの分野でネイティブ分散データベースの大規模生産を実現しています。分散データベースの応用分野がほぼ毎年大幅に拡大し、企業のデジタル変革とアップグレードをサポートするために欠かせない柔軟なデータ インフラストラクチャになっていることを嬉しく思います。

SequoiaDB は 2014 年に早くもマルチモード エンジンに基づくサポートをリリースし、複数のデータ構造を同時に管理できる分散データ インフラストラクチャを顧客に提供しました。同社は、分散データベース テクノロジーを提供することで、100 社を超える金融銀行顧客と 1,000 社を超える企業ユーザーを支援してきました。独自に特許を取得した STP 分散シーケンス クロック プロトコルの助けにより、RR レベルのトランザクション分離とエンジン間のトランザクション一貫性機能が実現され、データ ミドル プラットフォームのオンライン レイク ウェアハウス生産の実装に関するベスト プラクティスが提供されます。最大 1.2 兆のデータ量を持つ実稼働環境において、安全で安定した、柔軟に拡張可能な、高性能で高同時実行性を備えたデータベースを顧客に提供することに成功しました。

過去 10 年間を振り返ると、分散データベースは、業界の疑問、小規模な試行、そして今日の一部の業界での大規模なアプリケーションというプロセスを経てきました。わが国の分散型データベース産業は新年に繁栄し、今後3～5年で分散型データベースの応用規模がOracleを超え、中核取引業務の重要な一部になると私たちは確信しています。

今後、Sequoia Databaseは、100％独自に開発したネイティブ分散データベースエンジンとエンジンレベルのマルチモデル機能を活用して、顧客中心の価値観を堅持し、顧客や上流・下流のパートナーと連携して、金融、エネルギー、オペレーター、政府、企業の顧客に高品質の製品、技術サービス、エコロジカルサポートを提供し、グローバルなデジタル化プロセスを推進していきます。

分散データベース: 未来はここにあります。