クラウドネイティブデータベースであるPolarDBは、過去5年間でこれらの大きな技術革新を達成しました。

著者 | PolarDB データベース

データベース、チップ、オペレーティング システムは、世界の情報技術の 3 つの主要コンポーネントとして挙げられます。これらは、企業の IT システムに欠かせないコアテクノロジーであり、すべてのデジタル処理、コンピューティング能力、インテリジェンスの基礎でもあります。

1970 年代に、EF Codd は画期的な論文「大規模共有データバンクのためのリレーショナル データ モデル」を発表しました。この論文から、リレーショナル データベース ソフトウェア革命の幕が開きました。 1980年代初頭には、SQLをサポートする商用リレーショナルデータベースOracleやDB2が次々と発売されました。 1990 年代には、SQL Server とオープン ソースの MySQL および PostgreSQL はいずれもリレーショナル データベースの代表的な成功例でした。

今日、世界中でさまざまな種類のデータが急増しており、市場にはますます多くの新しいデータベースが登場していますが、リレーショナル データベースが依然として主流となっています。市場調査会社 IDC の最新の統計によると、リレーショナル データベースは世界のデータベースの約 80% を占めています。

リレーショナル データベースが長年にわたり使用され、世界中のユーザーに愛されている主な理由の 1 つは、SQL 標準を使用していることです。SQL 標準は、コンピューター サイエンスと、人間が理解して認識しやすいデータ管理方法とを完璧に結び付ける、高度な非手続き型プログラミング インターフェイス言語です。今日まで、このプログラミング言語に代わる完璧なものはありません。

数十年にわたり、リレーショナル データベースは、IOE に代表されるソフトウェアとハ​​ードウェアの緊密な結合を備えた技術アーキテクチャ環境で使用されてきました。しかし、今日では、クラウド コンピューティングがワークフローを実行する主な環境となっているため、リレーショナル データベースは大きな変化に直面しています。

使用環境のこの革新的な移行により、顧客は、より大きなストレージのサポート、より柔軟で弾力的なスケーリング、さらにはデータベースの「自動運転」の実現など、リレーショナル データベースに対する新しい要件も提示しています。

Alibaba Cloud のデータベース チームは、従来のリレーショナル データベース アーキテクチャに小さな調整を加えるだけでは、これらの顧客が提起した問題を解決するのは難しいと認識しました。クラウド上のリレーショナル データベース アーキテクチャを根本的に進化させ、まったく新しいクラウド ネイティブのリレーショナル データベースを作成する必要がありました。

PolarDB クラウドネイティブリレーショナルデータベースが誕生しました。

過去 5 年間で、Alibaba Cloud は PolarDB に多くの革新をもたらしました。ストレージとコンピューティングの分離、ハードウェアとソフトウェアの統合設計を採用することで、PolarDB の実装コストは従来の商用データベースの 10 分の 1 に抑えられます。コンピューティング、メモリ、ストレージリソースの「3層分離」アーキテクチャ、マルチマスターマルチ書き込み、IMCI（インメモリ列インデックス）に基づくHTAP、サーバーレスなどの機能を実装した世界初または業界をリードする技術です。

PolarDB はリリース以来、技術面でも商品化面でも急速な発展を遂げ、現在では Alibaba Cloud データベース製品ファミリーの中で最も輝かしい製品となっています。

この記事では、PolarDB がリリース以来 5 年間に達成した技術革新について詳しく紹介します。

「三層デカップリング」：究極の資源デカップリング

40 年以上前にデータベースが誕生して以来、データベースの CPU とメモリは結合され、コンピューティングとストレージはせいぜい分離されていました。 CPU とメモリを切り離すことができるデータベースはありません。現在のクラウドネイティブ データベースの段階に進化したにもかかわらず、PolarDB 以前のデータベースではこれを実現できませんでした。

しかし、クラウド コンピューティングの時代では、各レイヤーでリソースを分離することで、弾力性が桁違いに向上します。現在のクラウドネイティブ データベースはコンピューティングとストレージの分離を実現し、従来のデータベースに比べて弾力性が大幅に向上していますが、CPU とメモリの強い結合により弾力性のさらなる向上が大きく制限され、数秒以内のマシン間移行を実現することが困難になっています。また、メモリの水平方向の拡張も制限され、メモリが単一のマシンの容量によって制限されることになります。

PolarDB はこれまで、CPU、メモリ、ストレージ リソースの分離に基づく「3 層分離」アーキテクチャを提案し、実装してきました。独立した CPU リソース プール、分散メモリ リソース プール、分散ストレージ リソース プールを構築し、リソースの完全な分離を実現し、CPU とメモリを個別に課金します。同時に、分散メモリとデータベースのマシン間移行が数秒で実行され、弾力性が桁違いに向上し、コストが大幅に削減され、効率が向上しました。

マルチマスターアーキテクチャ: クラウドネイティブデータベースはもはや単一書き込みデータベースではない

クラウド ネイティブ データベースは、その誕生以来、あたかもクラウド ネイティブ データベースが本質的に単一書き込みであるかのように、単一書き込みと複数読み取りに結び付けられてきました。書き込み拡張機能の欠如はユーザーに大きな問題を引き起こしました。書き込みノードが最大仕様の半分に達するか、それに近づくと、多くのユーザーは、その後のビジネスの急速な成長によってデータベースのボトルネックが発生するのではないかと心配し始めます。したがって、他のデータベース アーキテクチャ ソリューションを再検討し、クラウド ネイティブ データベースを放棄する必要があります。または、水平拡張を実現するために、ミドルウェアなどの従来のデータベース水平拡張ソリューションに依存します。業界の一部のメーカーは複数のマスターノードの実験を開始していますが、ノード数に制限があり、真の水平書き込み拡張を実現することはできません。

クラウドのために生まれたクラウドネイティブデータベースとして、書き込み拡張を実現するクラウドネイティブソリューションはありますか? 「PolarDB マルチマスター アーキテクチャ」が誕生しました。これは、大規模なマルチマスターとマルチ書き込みをサポートし、最大 32 個の書き込みノードをサポートする業界初のクラウドネイティブ データベースです。 PolarDB マルチマスター アーキテクチャでは、Alibaba Cloud はメタデータ、トランザクション、ロック、Undo/Redo、IO、エージェントなど、アーキテクチャ全体のすべてのサブシステムでマルチマスター変換を行っています。また、複数の書き込みノード間での効率的なデータ相互作用を実現するために、PolarFusion テクノロジーを採用しました。

PolarDB のマルチマスター アーキテクチャは、ユーザーのシングルマスターに対する不安を根本的に解決し、PolarDB が初めてシングルマスターの制限を突破して水平書き込みの拡張を実現できるようにしました。データの相互運用後のマスター間相互バックアップにより、RTO を変更せずにバックアップ ノードを排除することでコストを半分に削減できます。マスターノード間の第 2 レベルのトラフィック スイッチングは、SaaS やゲームなどの業界におけるマルチテナント/ゲーム サービスのノード間スケジューリングを解決するための強力な手段も提供します。

サーバーレスクロスマシンのブレークスルー

サーバーレスは、クラウド データベースに最適な配信モデルです。オンデマンドのプロビジョニングを実装しているため、ユーザーはデータベースの容量を計画する必要がなくなります。ピーク時には自動的に容量をアップグレードして安定性を向上させ、オフピーク時には自動的に容量をダウングレードしてコストを削減します。そのため、クラウド データベース ベンダーは、独自のサーバーレス フォームを一斉にリリースしました。

しかし、現在業界におけるデータベース Serverless の形態はすべてスタンドアロン Serverless であり、その容量上限は大幅に制限されています (8 ～ 32 コア)。ピーク時の安定性を確保するために自動的にアップグレードするという目標を達成できず、企業顧客による使用も制限されます。同時に、読み取り/書き込みノード自体のアップグレードとダウングレードもノードのスループットに影響します。これらの制限の本質は、現在のクラウド データベースのシームレスなマシン間の弾力性と強力な一貫性を備えたマシン間の拡張機能がまだ未熟であり、その結果、現在のサーバーレスでは単一ノード上でしか限定的なサーバーレスを実現できないことです。マシン間の弾力性の制限は、ノードをマシン間でスケジュールできないため、単一ノードの弾力性の上限は物理マシンの制限よりもはるかに小さい値にしか制限できないことです。また、マシン間の強力な一貫性のある読み取り拡張機能がないため、強力な一貫性のある読み取り専用ノードを追加または削除することで読み取りトラフィックの弾力性を実現することは不可能です。

単一マシン サーバーレスの限界に対処するために、Alibaba Cloud は業界で初めて次の 2 つの技術的困難を克服しました。トランザクション継続と第 2 レベル スイッチングに基づくシームレス スイッチング テクノロジにより、マシン間の弾力性の問題を解決します。ロスレス パフォーマンスを備えた強力な一貫性読み取りテクノロジーとホット ノード プール テクノロジーを組み合わせることで、マシン間の透過的な読み取り拡張の問題を解決します。

上記の技術革新により、PolarDB Serverless の上限仕様は 1,000 コアを超え、Serverless 機能が桁違いに向上し、Serverless テクノロジーがエンタープライズ レベルのビジネスをサポートできるようになりました。

HTAP: トランザクションと分析ワークロードを同時に処理

OLTP シナリオ向けに設計された従来のリレーショナル データベースは、通常、シングルコアのパフォーマンスの向上、マルチコアのスケーラビリティの向上、可用性を向上させるためのクラスター機能の強化などの最適化目標があり、分析パフォーマンスが低いことがよくあります。しかし、実際の業務のSQLは当然TP/APが混在しており、トランザクション処理とリアルタイムデータ分析を組み合わせたHTAPシステムが必要となります。この問題に対処するための従来のソリューションは、データ同期システムを使用して上流の TP システムと下流のデータ ウェアハウス システムを接続し、複数のシステムを組み合わせてタスクを完了するビルディング ブロック ソリューションを形成することです。

クラウド データベースの時代において、このアーキテクチャは OLTP データベース、メッセージ ミドルウェア、OLAP データベースの 3 つのシステムを接続し、上流と下流のプロトコルに互換性がないため、運用と保守が複雑になります。さまざまな顧客のニーズを満たすためにクラウド上での展開を拡張することは困難です。

これらの問題に対処するため、Alibaba Cloud は、PolarDB クラウドネイティブ データベースの分野における技術的蓄積に基づき、PolarDB 上でインメモリ列インデックス機能を開始しました。これにより、PolarDB に列指向ストレージとインメモリ コンピューティング機能が導入され、ユーザーは PolarDB データベース セット上で OLTP と OLAP の混合負荷を同時に実行できるようになります。既存の PolarDB の優れた OLTP パフォーマンスを確保しながら、大量のデータに対して複雑なクエリを実行する際の PolarDB のパフォーマンスが大幅に向上し、PolarDB が真の HTAP データベースになります。

PolarDB HTAP には、次の主要な技術革新が含まれています。

1. PolarDB ストレージ エンジンは列インデックスをサポートするようになりました。ユーザーは、DDL を通じて、テーブルの列のすべてまたは一部を列インデックスとして作成することを選択できます。列インデックスは列圧縮で保存されるため、行ストレージよりもはるかに少ないストレージ スペースしか消費しません。

2. PolarDB の SQL エグゼキュータ層では、Alibaba Cloud は列指向のエグゼキュータ エンジン フレームワークを書き直しました。このエグゼキュータ フレームワークは、列ストレージの利点を最大限に活用し、ベクトル化された実行方法を使用して、大量のデータを処理する際の演算子の効率を向上させます。同時に、最新の CPU の SIMD 命令機能を最大限に活用して、単一の CPU コアのデータ処理スループットを向上させ、すべての主要な演算子が並列実行をサポートします。列ストレージでは、新しいエグゼキュータは、MySQL の元の行ストレージ エグゼキュータと比較して、パフォーマンスが数桁向上しています。

3. 行と列の混合実行をサポートするオプティマイザー フレームワーク。オプティマイザーは、互換性と実行プランのコストに基づいて最適な実行パスを選択します。

同時に、Alibaba Cloud は PolarDB クラウドネイティブ データベースの技術的利点を最大限に活用して、HTAP ノードの異種性とオンデマンドの弾力性 (サーバーレス) をサポートし、究極のコスト効率を実現しながらユーザーに統合された HTAP エクスペリエンスを提供します。

並列クエリ: 単一ノードのリソースとパフォーマンスのボトルネックを打破

従来の MySQL ベースのリレーショナル データベースは、クラウドに導入された後も、インスタンスの高い信頼性と高可用性を実現するために、マスター スレーブ レプリケーション データ同期モードを使用します。ただし、論理レプリケーションでは、インスタンスのレイテンシの増加やストレージのコピーの多重化などの問題が発生します。 PolarDB は、共有ストレージと物理レプリケーションを通じてクラウド上でコンピューティングとストレージの分離およびリソース プーリング機能を実現し、ユーザーに最適な弾力性とコスト効率を提供します。長期にわたるオンライン運用と保守から、クラウド上のユーザーインスタンスによる CPU リソースの平均使用率が低いことがわかります。同時に、MySQL のシングルスレッド クエリ処理方式では、膨大なデータに基づくビジネスのリアルタイム分析のニーズを満たすことができず、リソースが大量に浪費されることになります。

この目的のために、Alibaba Cloud は、ノード内およびノー​​ド間で並列クエリ機能を開始しました。この機能は、特にマルチコア CPU 並列コンピューティングを使用して、クエリ応答速度を向上させます。ただし、共有ストレージ層のデータ量が増え続けると、CPU、メモリ、IO などのボトルネックが単一マシンのスケーラビリティに発生します。従来のデータベースは、シェアードナッシング シャーディング アーキテクチャと MPP コンピューティング エンジンを使用して、単一マシンのリソース ボトルネックを打破しますが、これにより、クラウド上のコンピューティングとストレージの分離によってもたらされる独立したスケーラビリティと極端な弾力性が損なわれ、現代のクラウド ネイティブ データベースの開発傾向に反します。

PolarDB はこの問題に対して、コンピューティング、メモリ、ストレージのより高度な「3 層分離」モデルを採用し、リソースをさらに細分化して各レベルで個別にスケーリングすることで解決策を提供します。大規模データ分析・クエリ向けに、Parallel Queryをベースにしたコンピューティング層をさらに進化させ、共有ストレージをベースとした分散エラスティック並列クエリ（Elastic Parallel Query）をリリースしました。ノード間およびノー​​ド内の 2 つの並列処理層と、分散リソース ビューに基づくインテリジェントなスケジューリング戦略を組み合わせることで、クラスター内のマルチノード コンピューティング リソースが接続されます。従来の固定 MPP アーキテクチャと比較すると、多くの技術的およびコスト上の利点がもたらされます。

1. 多粒度の並列処理により、クラスターレベルのコンピューティング リソースをより有効に活用して、単一ノードのリソースとパフォーマンスのボトルネックを打破できます。 PolarDB は、並列クエリを使用して CPU 使用率を向上させると同時に、並列 DDL などの機能も開発しました。これにより、DDL 時間が大幅に短縮され、一部の大規模テーブル ユーザーにとって重要な問題点が解決され、従来の MPP システムと同等かそれ以上の優れたクエリ パフォーマンスが実現します。

2. 分散グローバル リソース ビューに基づき、データのアフィニティ特性と組み合わせて、クエリ内のサブコンピューティング タスクがインテリジェントにスケジュールされ、各ノードのコンピューティング リソースをバランスよく利用しながら、IO を可能な限り回避し、ローカル ホットスポットによって発生するパフォーマンスとメンテナンスの問題を回避します。

3. クラウドの自動弾力性とシームレスに統合し、インスタンス コンピューティング レイヤーのスケールアップ/スケールアウトに合わせて並列コンピューティング戦略を適応的に調整します。これにより、ユーザーのコストとパフォーマンスの要件を満たすだけでなく、追加の構成やメンテナンスのアクションも必要ありません。

4. インスタンスレベルのコンピューティング リソース トポロジを柔軟に制御し、異なるアクセス アドレス (サブ クラスター) を通じて異なる業務を分離および独立して構成することで、さまざまな特性を持つクエリ業務のニーズに対応します。

アーキテクチャの進化の概略図は次のとおりです。

分散: 透過的な分散エクスペリエンスを実現

このデータベースは 40 年以上の開発を経てきました。インターネットとビッグデータの急速な発展に伴い、単一サーバーのパフォーマンス限界が徐々に現れてきました。この場合、技術者はデータベースの拡張機能を徐々に検討し始めました。現在、全体的な拡張アーキテクチャには、共有ストレージに基づく共有ストレージ アーキテクチャと、シェア ナッシングに基づく分散アーキテクチャの 2 つの形式があります。これら 2 つのアーキテクチャは、それぞれ長所と短所を持つ 2 つの異なる拡張アイデアを表しています。

スケールアップに基づく単一マシン拡張アーキテクチャは、同時実行性の高いシナリオでは単一マシンのスケーラビリティの上限に達する傾向があります。そのため、PolarDB は 2019 年から、複数の書き込みと複数の読み取り、および低コストのホットとコールドの分離階層化アーキテクチャをサポートする、シェアードナッシング分散アーキテクチャに基づくクラウドネイティブ分散バージョン (PolarDB-X) を正式にリリースしました。

PolarDB クラウド ネイティブ分散バージョン (PolarDB-X) は、ネイティブ MySQL をベースにしたクラウド ネイティブ分散データベースです。 MySQL のプロトコルやオープンソース エコシステムとの互換性が高く、Paxos 多数決コンセンサス プロトコルを導入し、国内の MySQL の置き換え、分散線形拡張、HTAP 混合負荷などのシナリオに重点を置いています。

PolarDB-X には、次の主要な技術革新が含まれています。

1. 透明な分散エクスペリエンス、自動データ パーティショニングとデータ自動アフィニティ集約テクノロジを導入し、相関バインディングと統合スケジューリングのためのデータのビジネス属性を自動的に識別するとともに、データベースの線形拡張機能を向上させ、パーティション間のトランザクションと複雑なクエリによって発生するパフォーマンス オーバーヘッドを回避し、トランザクションの範囲を単一の物理ノードに最大限に制限し、コンピューティング オペレーターのプッシュダウンを最大化してデータ交換を削減します。グローバルセカンダリインデックスとオンラインデータ変更を組み合わせることで、分散データベースは単一マシンデータベースに近いエクスペリエンスを提供でき、分散機能を実際に適用する際の主要な障壁を打ち破ります。

2. コールドとホットの分離ストレージ アーキテクチャでは、データ パーティション分割に Time-to-Live (TTL) 戦略が導入されています。時間が経つにつれて、過去に頻繁にアクセスされなかったコールドデータは定期的にアーカイブすることができます。 PolarDB 分散型は、クラウド オブジェクト ストレージ OSS をコールド ストレージ メディアとして組み合わせ、エンコード圧縮を採用し、OSS 自体のコスト上の利点も備えています。コールド データのストレージ コストは、MySQL InnoDB オンライン データの 1/20 にすぎません。同時に、単一のデータベース インスタンス、統合された SQL アクセス、バックアップ操作などの透過的な使用エクスペリエンスを提供します。

3. フルコアオープンソース戦略に基づいてローカリゼーションを全面的に採用し、MySQL に基づく俊敏で制御可能なルートを遵守します。現在、PolarDB は分散データベースに関する金融業界標準認証、中国情報通信研究院の分散データベース性能および高可用性認証などに合格しています。PolarDB は、パブリック クラウドの配信要件を満たすだけでなく、従来の金融および政府業界向けのプライベート クラウド配信や、オープン ソース カーネルに基づく純粋なソフトウェア展開機能も提供し、データベースのマルチシナリオおよびマルチフォーム配信機能を完全にサポートします。

PolarDB クラウドネイティブ分散バージョン (PolarDB-X) のデータベース形式は、クラウドネイティブ + 分散 + ローカライズ技術を組み合わせ、将来的には HTAP ハイブリッド ロード機能をさらに統合し、行と列のハイブリッド ストレージ アーキテクチャを導入して、データのリアルタイム パフォーマンスの要件をより適切に満たします。

パフォーマンスの進化:一連の最適化手法の提案

PolarDB が最初に設計されたときのコンセプトは、非常に弾力性があり、高性能で、大容量のストレージを備え、安全で信頼性の高いデータベース サービスをクラウド ユーザーに提供するというものでした。 PolarDB は、コンピューティングとストレージを分離するアーキテクチャを採用しています。物理レプリケーション技術と共有ストレージ アーキテクチャにより、ビジネス容量の弾力的な拡張のニーズを満たしながら、ユーザーのストレージ コストを大幅に削減します。設計面では、PolarDB は、商用データベースの安定性、信頼性、高パフォーマンス、スケーラビリティと、オープンソース クラウド データベースのシンプルさ、オープン性、自己反復の利点を兼ね備えています。

PolarDB は、Alibaba Cloud の先進的で信頼性の高いハードウェア プラットフォームを基盤として、RoCE RDMA ネットワークや 3DXpoint ストレージ メディアなどの先進技術を採用し、新しいハードウェア アーキテクチャ向けにハードウェアとソフトウェアの統合最適化を実装しています。 PolarDB は、データベース カーネル、ファイル システムからネットワーク通信プロトコル、分散ストレージ システムまで、ソフトウェア スタックのすべてのレベルにわたって徹底的な最適化を実現します。高性能なハードウェア ベースを構築するだけでは、クラウド ネイティブ データベースのパフォーマンスの問題を完全に解決することはできません。たとえば、高スループットの RDMA ネットワークがあっても、集約された帯域幅を十分に活用することは困難です。リモート ノード I/O アクセスやマルチコピーの永続性などの要件により、クラウド ストレージの I/O レイテンシはローカル ストレージよりもはるかに高くなります。たとえば、データ リンクが長くなるとキューの数が増え、I/O 間の分離性が低下します。共有ストレージ アーキテクチャには、キャッシュの同時実行コストなどがあります。クラウド ネイティブ データベースが直面するパフォーマンスの課題に対応するため、PolarDB のストレージ エンジンは、一連の最適化手法を提案しています。

1. 並列マルチタスク: たとえば、集中ログ バッファーをページ パーティションで分割して、パーティションに基づいて並列書き込みと並列リカバリを実現できます。

2. プリフェッチと読み取りプルーニング: たとえば、元の分散メタを収集して統合スーパーブロックに集約することにより、複数の I/O が 1 つに結合され、高速な検証が実現されます。事前読み取りにより、集約された読み取り帯域幅が活用され、読み取りタスクのレイテンシなどが削減されます。

3. ロックの最適化: システムのボトルネックを解決するために、ブリンクツリーに基づくロックフリーのダーティフラッシュとロックフリーの SMO を実装します。

4. アクセスの断片化と優先順位のスケジューリング: たとえば、単一の大きな I/O を異なるストレージ ノードに同時に分散して分散アクセスし、クラウド ストレージの総帯域幅を最大限に活用できます。異なる I/O を DB レベルでマークして優先順位を付けることで、長いリンクや分離度の低い I/O タスクの影響を排除できます。

5. キャッシュをバイパスすることで分散ファイルシステムのキャッシュ一貫性を回避し、最適なストレージ要求形式に合わせて DB レベルで I/O 形式を最適化します。

上記の例は氷山の一角に過ぎず、PolarDB は今後もパフォーマンスの進化の道を歩み続けます。

未来を見据えて：これはまだ始まりに過ぎない

PolarDB は発売以来 5 年間、アーキテクチャ、機能、パフォーマンスの面で革新を続けてきました。実際、これらのイノベーションはすべて、クラウド コンピューティング リソース プーリングの可能性を継続的に解き放ち、クラウド コンピューティング リソース プーリングの価値を最大化するという 1 つの目的に集中しています。それだけでなく、PolarDB はオープンソースの概念を堅持し、PolarDB-PG と PolarDB-X のコア全体をオープンソース化し、業界全体の技術革新を促進しています。

2021年杭州雲奇大会において、アリババクラウドインテリジェントデータベース製品部門およびDAMOアカデミーデータベースおよびストレージ研究所の責任者である李飛飛氏は、PolarDBはクラウドネイティブを徹底的に実行すべきであると提案した。なぜなら、彼は早くも 2019 年に、将来のデータベースはクラウドネイティブ データベースでなければならないと主張していたからです。同氏は、クラウドネイティブデータベースはコスト、柔軟性、セキュリティ、技術進化の面で従来のデータベースよりも優れており、「従来のデータベースは馬車のように消滅するだろう」と述べた。

現代のデータベース技術には 40 年以上の開発の歴史があります。対照的に、新世代のクラウドネイティブ データベースのイノベーションは、ほんの数年しか経っていません。クラウドネイティブ データベースの新しい時代が到来し、イノベーションは始まったばかりです。