統合アーキテクチャ: 分散データベースを再定義し、コアビジネスシステムに参入

[51CTO.comよりオリジナル記事]インターネットの急速な発展に伴い、人類社会におけるデータ量は急速に増加しました。インターネットビジネスの発展は通常爆発的であり、短期間でビジネス量が爆発的に増加する可能性があり、それに応じて対応するデータも急増します。システムが十分に安定していないと、アクセス不能などの問題が発生します。

この場合、従来のスタンドアロン データベースでは、スケーラビリティとコスト効率の面でニーズを満たすことができなくなります。システムのパフォーマンス、コスト、スケーラビリティのニーズに対応するために、分散データベース システムが誕生しました。

技術モジュールの観点から見ると、分散データベースを実装する最も直接的な方法は、トランザクション層をストレージ層から分離し、別の分散 KV システムを抽出し、分散 KV システムに分散スケーラビリティと高可用性機能を実装することです。実装は簡単ですが、単一のマシンのパフォーマンスが犠牲になり、システムのレイテンシが非常に高くなるため、コア業務システムには適用できず、非コア業務システムでのみ使用できます。統合アーキテクチャは、トランザクション層とストレージ層を有機的に組み合わせ、スタンドアロンのパフォーマンスを犠牲にすることなく、トランザクション層でのスケーラビリティを実現します。最終的には、スタンドアロンのパフォーマンスは基本的に集中型データベースと同等になり、コアビジネス シナリオに適したものになります。

統合アーキテクチャの詳細な説明

統合アーキテクチャは、ネイティブ分散フレームワークと HTAP の技術的な利点を組み合わせたものです。

まず、ネイティブ配信を見てみましょう。ネイティブ ディストリビューションの基盤となるレイヤーは、Paxos ベースのデータ同期された柔軟な災害復旧アーキテクチャであり、同じ都市に 3 つのデータ センター、3 つの場所に 5 つのセンター、2 つの場所に 3 つのセンターなどの柔軟な災害復旧モードをサポートします。 Paxos 災害復旧アーキテクチャの上には、単一のマシンのパフォーマンスと使いやすさを複数のマシンのスケーラビリティと組み合わせ、強力なグローバル一貫性を保証する集中型の分散統合アーキテクチャがあります。

もう一度 HTAP を見てみましょう。業界の観点から見ると、インターネットが登場する前は、企業内のデータ量はそれほど多くなく、特にコアビジネスデータは、通常は単一のデータベースで処理できました。ストレージには複雑なアーキテクチャは必要なく、すべてのオンライン トランザクション処理 (OLTP) とオンライン分析処理 (OLAP) は同じデータベース インスタンス上で実行されました。

企業のビジネス データの量が増加し続けるにつれて、大規模なデータ シナリオでのスタンドアロン データベースの使用は制限されるようになりました。実際のアプリケーションでは、さまざまなビジネス ニーズを満たすために、OLTP タスク処理と OLAP タスク処理が異なるチームによって完了されることがよくあります。データ量が急増すると、通常、OLAP システムと OLTP システムの間に数分または数時間の遅延が発生します。 OLAP データベースと OLTP データベース間の一貫性は保証できないため、高度なリアルタイム分析を必要とする一部のビジネス シナリオに対応することが困難になります。同時に、さまざまなデータベースの管理と保守によって企業のコストも大幅に増加します。そのため、トランザクション処理とワークロード分析を統一的にサポートできるデータベースが多くの企業にとって必須要件となっています。

2014 年の Gartner レポートでは、OLTP と OLAP の間の障壁を打ち破る新しいアプリケーション フレームワークを説明するために、HTAP (Hybrid Transactional/Analytical Processing) という用語が使用されました。トランザクション データベース シナリオと分析データベース シナリオの両方に適用できます。このアーキテクチャは、面倒でコストのかかる ETL 操作を回避するだけでなく、最新データのより高速な分析も可能にします。ガートナーは、HTAP データベースがデータベース分野の重要な開発トレンドとなり、統合データ プラットフォームがデジタル変革を加速すると示唆しています。

もちろん、データベースで OLTP と OLAP、つまり HTAP の両方を実行するには、非常に大きな課題があります。これは、OLTP と OLAP の間には大きな違いがあり、この違いは常に存在するためです。たとえば、データ量に関して言えば、OLTP データ量は通常は小さく、OLAP データ量は通常は大きくなります。トランザクション サイズに関して言えば、OLTP トランザクションは通常は小さく、OLAP トランザクションは通常は大きくなります。データの一貫性に関しては、OLTP トランザクション データの一貫性は非常に高いですが、OLAP データの一貫性は比較的低くなります。トランザクションの同時実行性に関しては、OLTP は通常高い同時実行性を持ちますが、OLAP はそれほど大きな同時実行性を持ちません。トランザクション応答時間に関しては、OLTP には厳しい応答時間要件がありますが、OLAP データベース応答時間は比較的緩やかです。データ保存に関しては、OLTP データベースは通常行保存され、リアルタイムで更新されますが、OLAP データベースは通常列保存され、バッチで更新されます。

したがって、HTAP データベースの課題は主に 4 つの側面に反映されます。 1 つ目は分散トランザクション処理です。分析と処理には膨大な量のデータと計算が必要となるため、システム全体を分散する必要があります。 2つ目は物事の優先順位です。大規模な分析クエリには大量の CPU、メモリ、および IO リソースが必要になるため、小規模なトランザクション クエリでは必要なリソースを取得できず、待機してタイムアウトが発生する可能性があります。 3 つ目は、行と列のハイブリッド ストレージです。行ストレージはトランザクション処理に適しており、列ストレージは分析処理に適しているため、HTAP システムでは行ストレージと列ストレージの両方、つまり行と列のハイブリッド ストレージが必要です。 4つ目はHTAPのパフォーマンス評価です。今日のさまざまなベンチマークは、トランザクション処理または分析処理のいずれかの単一のパフォーマンス評価ですが、HTAP ではその両方が必要です。

OceanBase: HTAP の完璧な解釈

中国では、HTAP を実際に実装しているデータベースは多くありません。業界の一部の HTAP データベースでは、2 セットのエンジンを使用して HTAP を実装しています。つまり、プライマリ データベースとスタンバイ データベースは物理的に分離されており、プライマリ データベースは OLTP に使用され、スタンバイ データベースは OLAP に使用されます。プライマリ データベースとスタンバイ データベースは REDO ログを通じて同期され、スタンバイ データベースとプライマリ データベースの間には一定の遅延が発生します。 OceanBase は、OLTP と OLAP の両方をサポートできる独自のエンジンを開発しました。これにより、他の HTAP データベースとの差別化が図られ、分散データベースが再定義されます。

OceanBase はネイティブ分散データベースの代表であり、その中核技術は統合アーキテクチャです。一方、その基盤となるアーキテクチャは依然としてネイティブの分散アーキテクチャであり、分散テクノロジの無制限の拡張と常時オンラインテクノロジの技術的利益を十分に享受でき、RPO は 0 であり、サーバーを動的に増減できます。一方、外部的には、従来の集中型データベースと完全に互換性のある機能と単一マシンのパフォーマンスを実証しています。 OceanBase は、統合アーキテクチャを通じて、分散型テクノロジーと集中型テクノロジーの 2 つの技術的利点を活用します。

OceanBase は、1 つの HTAP エンジンで OLTP と OLAP の混合ロードをサポートし、2 つのロード間でリソースを分離します。商用データベース Oracle とオープンソース データベース MySQL の 2 つの SQL インターフェイスと互換性があり、集中型データベースから分散型データベースへのスムーズな移行を保証します。

過去数年間で、OceanBase は 3 回の反復を経てきました。第 1 世代の分散ストレージ システムでは、リレーショナル データベース分野に初めて LSM Tree が導入され、リレーショナル データベースのストレージ コストが大幅に削減されました。第 2 世代の分散データベース OceanBase は、キー データベース分野に再び Paxos プロトコルを導入し、初めて RPO = 0 を達成しました。第 3 世代のネイティブ分散データベース OceanBase は、1 つのエンジンで OLTP と OLAP の混合負荷をサポートし、TPC-C と TPC-H の両方のランキングで世界第 1 位を獲得しました。

5つのコア製品技術のブレークスルーと優れたTPC-Cの結果

2021年、OceanBaseは5つのコア製品技術のブレークスルーを達成しました。OLTPからHTAPまで、TPC-Hの全体的なパフォーマンスは620％向上し、30TBの世界記録は世界記録を更新しました。シングルコアのコスト効率が大幅に向上し、sysbenchの全体的なパフォーマンスが68％向上し、小規模展開のコスト効率をサポートし、グローバル分散データベース分野で大きくリードしました。バッチ実行機能が強化され、超大規模トランザクションがサポートされ、トランザクションとバッチ実行の両方のワークロードを 1 つのエンジンで同時に処理できるため、バッチ実行の負荷が進行中のトランザクション ビジネスに影響を与えないことが保証され、並列 DML とビッグ データ インポートのパフォーマンスがそれぞれ 270% と 58% 向上しました。 OceanBase は、Oracle のスムーズな移行をサポートする業界初のネイティブ分散データベースであり、銀行、保険、証券、オペレーター、公共事業など、複数の業界のコアビジネスシナリオに適用されています。使いやすさが向上しました。OceanBase は、単一のポイントに依存しない分散アクティブデッドロック検出を実装し、フルリンク監視を通じて問題のトラブルシューティングコストを大幅に削減することもできます。

2020年5月、OceanBaseはTPC-CフェーズIIテストに参加し、7億700万tpmCのスコアを達成し、世界第1位になりました。 2021年5月、OceanBaseは再びTPC-H 30TBランキングに参加し、1,526万QphHのスコアを達成し、再び世界第1位になりました。これは、分散アーキテクチャに基づくネイティブ分散データベースが、従来の集中型データベースに完全に匹敵する強力で一貫した ACID 機能を実現できること、そしてシステム全体がジッターなしで安定した長期的な動作パフォーマンスを維持できることを完全に証明しています。

新しい外観: 3.X ツール ファミリと OceanBase 3.1.2 コミュニティ バージョン

先日開催された DC 2021 分散データベース開発者会議で、OceanBase は、運用および保守管理ツール OCP、開発者ツール ODC、データ移行ツール OMA および OMS を含む新しい 3.X ツール ファミリをリリースしました。その中で、OCPは包括的なホワイトスクリーンの基本運用保守作業の実現を基盤として、インテリジェント診断機能と運用保守効率をさらに向上させ、最大1,500台以上のマシンのクラスターをサポートします。 ODC は、PL ストアド プロシージャの開発とデバッグをサポートし、強化されたセキュリティ監査機能を通じて、エンタープライズ レベルのセキュリティ管理と制御に向けて大きな一歩を踏み出しました。 OMS はデータソースの改善を継続し、10 種類以上のデータソースをサポートすると同時に、移行評価、データ移行、データ同期、データ検証などの一連のワンストップ移行サービス機能を実現し、顧客の集中型データベースから分散型データベースへのスムーズな移行を実現します。

会議では、OceanBase 3.1.2 コミュニティバージョンが正式にリリースされました。これには 3 つのコア技術アップグレードが含まれます。1 つ目は、フラッシュ セールのパフォーマンスが 300% 向上することです。 2 番目に、Hbase ドッキング機能をサポートするために、生態学的適応が完全に加速されます。 3つ目は、新しいコミュニティ版ツールシステム（コミュニティ版OCP、コミュニティ版ODC、コミュニティ版OMS）がリリースされ、ホワイトスクリーンクラスタ管理、テナント制御、開発とデバッグ、データ同期、インポートとエクスポートなどの完全な機能が提供され、コミュニティユーザーがすぐに使い始めることができるようになります。

追記

近年、「国産コア交換」がホットワードになっています。アリババは2008年に「脱IOE」を提案した。ここ10年ほどで国産データベースが普及し、基幹業務システムにも徐々に導入されてきました。 Oracle と比較すると、国産データベースはスタンドアロン パフォーマンス、オプティマイザー、複雑なクエリ処理などの機能において依然として一定の差がありますが、分散技術アーキテクチャにより、多くの国産データベースは大規模な同時実行シナリオにおいて Oracle よりも優れたスケーラビリティと高可用性を実証しています。

データベースの将来は、分散型データベースと集中型データベースの 2 つの技術的利点を組み合わせたネイティブ分散型データベースという統合アーキテクチャを使用して実装する必要があると私は考えています。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]