UCloud UDBテクノロジーの実践を探る

[51CTO.com オリジナル記事] 「6年間、UDBは常に多くのユーザーとともに成長してきました。」 ----------- UCloud クラウド データベース責任者 Luo Cheng

[[267126]]
UCloud クラウド データベース責任者 Luo Chengdui 氏

データ量の爆発的な増加とデータタイプの豊富化により、さまざまな複雑なデータ処理要件が生じています。クラウド データベースは、従量課金制、オンデマンド拡張、高可用性、ストレージ統合などの利点により、大多数のユーザーに歓迎されており、さまざまなクラウド データベースが登場しています。

中立的な国内クラウドコンピューティングサービスプロバイダーである UCloud は、2013 年にクラウドデータベース UDB 製品を正式にリリースしました。6 年間の成功した運用を経て、UDB 製品ラインはますます多様化しています。 UCloud のクラウド メモリ製品 UMem は、MySQL、MongoDB、PostgreSQL、SQLServer に加え、Redis や Memcache もカバーしており、現在、業界の主流データベースを幅広くサポートしています。製品の機能には、マスタースレーブアーキテクチャ、高可用性、データベースゾーン、排他的使用、クロスゾーン高可用性、クロスアベイラビリティゾーン災害復旧、読み取り/書き込み分離、多次元弾性拡張、バックアップとリカバリ、監視とアラームなどがあります。

「丸6年間、UDBは常に多くのユーザーとともに成長してきました。」 UCloudクラウドデータベース責任者の羅成堆氏は記者とのインタビューでこう語った。

UDB製品の進化

過去 6 年間、UDB データベース製品は進歩を続けてきました。 UDB の開発の歴史をまとめると、いくつかの道筋があります。

まず、オープンソース コミュニティの最新情報を把握してください。 2013 年、UDB は最も人気のあるオープンソース データベース MySQL からスタートし、初めて MySQL インスタンスを立ち上げました。同社は2014年に中国で初めてMongoDBクラウドサービスを開始し、2016年にはPostgreSQLも開始した。

最も権威のある DB エンジンのランキングと NoSQL チームの UMem 製品を組み合わせると、UCloud のデータベース製品は TOP レベルのタイプをカバーしていることがわかります。

第二に、製品の観点から見ると、UDB 製品は初期のリソースベースの配信から付加価値配信へと徐々に移行してきました。リソースベースの配信は、バージョンやモデル、安定性や信頼性、高パフォーマンス、高可用性、セキュリティ、分離性など、「購入した UDB にはどのようなリソースがあるか」と簡単に理解できます。付加価値配信は、「独自の DBA を用意する」と理解できます。災害復旧、容量拡張、移行、チューニングなど、運用時のシナリオベースのニーズに対応できるシナリオ指向のオールラウンダーです。 UDB 製品の開発履歴を見ると、付加価値機能を提供する製品が増えていることがわかります。

3つ目は、オープンソースから独立した研究へです。 UCloudは自社開発の能力を蓄積・定着させた後、2016年に自社開発の分散型UDB（UDDB）をリリースし、自社開発の能力が実を結んだことを発表しました。

将来的には、UDB for MySQL のパフォーマンス アクセラレータである、独自開発の読み取り/書き込み分離が登場する予定です。今後も、UCloud クラウド データベース チームは、独自に開発した独立したデータベース製品をリリースし続けます。

進化の道で私たちが乗り越えてきた障害

UCloud が UDB データベース製品を提供する際のビジョンは、「アクセスしきい値」と「使用しきい値」を完全に排除することです。 UDBの開発過程をよく考えてみると、証人である羅成氏はその負担が非常に重いと感じています。 「私と私のチームは歯を食いしばって、直面したあらゆる障害を乗り越えました。そして、それを『完璧に』乗り越える方法についても考えなければなりませんでした。」

Luo Chengdui 氏は、これらの困難と課題を次の 3 つの側面にまとめました。

まず、製品の品質です。初期の頃、UDB は非常に急速に発展し、製品の機能マトリックスはますます大きくなり、アーキテクチャはますます複雑になっていきました。このような状況下で、製品の品質をどのように管理すればよいのでしょうか? UDB リソースベースの配信の最も基本的な要件は安定性です。製品の品質に多くの隠れた危険がある場合、適切な納品は不可能になります。 UCloud のソリューションは、需要制御とソフトウェア設計の合理性を確保し、ソースから品質を確保することです。同時に、製品機能マトリックスを簡素化し、ソフトウェア アーキテクチャを最適化します。

2番目は規模と効率です。 UDB 製品の規模が拡大し続ける中で、製品の運用効率をどのように向上させることができるでしょうか? UDB 製品チームは、自動化プラットフォーム、SRE、インテリジェント DBA を含む運用システムを構築し、運用効率を継続的に向上させています。この分野での作業は進行中です。

3つ目は、製品の強さです。 「ユーザー」を深く理解しながら迅速な提供を実現することは、UDB 製品チームが直面している主な矛盾です。羅成堆氏の見解では、これは総合的なテストであり、ユーザーのニーズを深く理解するだけでなく、製品と技術開発に対する長期的なビジョンと、両者のバランスの模索も必要となる。実際のテストでは「スピード」が問われます。 「スピードこそが、この世のあらゆる格闘技に勝つ唯一の方法だ。」ユーザーのニーズを迅速に理解し、迅速に提供することこそ、UDB 製品チームが取り組んできたことです。

高可用性、高パフォーマンス、高信頼性でユーザーの悩みを解決

「ユーザーのニーズがUCloudの次の製品である」というコンセプトを堅持し、UDB製品の研究開発プロセスもユーザーのニーズを中心に据えています。これらの需要ポイントは、「パフォーマンスまたはスループット」、「可用性」、および「価値またはユーザー」という 3 つの時間曲線にまとめられます。これら 3 つの時間曲線に対するユーザーの期待が常に上向きであることは間違いありません。しかし、業務量が増大すると、データベースのパフォーマンスが満足できなくなり、パフォーマンスと可用性に大きな変動が生じます。長期的には、ユーザーエクスペリエンスが低下し、新しいビジネスがオンライン化できなくなり、ユーザーは離れてしまいます。

UCloud は、高可用性、高パフォーマンス、高信頼性を活用してこれらの問題を解決します。

まず、可用性の面では、 UCloud の UDB 製品は 99.95% の可用性率を達成しています。高可用性 UDB の実装では、長期運用後に、元の VIP + プロキシ + DB アーキテクチャに多くの問題があることが判明しました。この技術アーキテクチャは、業界で最も主流かつ成熟した実装でもあります。

UDB 製品チームは、よりシンプルな Drift VIP+DB デュアル マスター実装を採用することでアーキテクチャをさらに簡素化しました。これにより、データ リンク上の転送が 1 つ削減され、潜在的なパフォーマンスのボトルネックが排除され、制御モジュールが簡素化されて制御不能な要因が削減されました。新しいアーキテクチャは、ネイティブ データベース (MySQL および PG) との互換性が向上しています。

第二に、 UCloud はより高いパフォーマンスを追求しており、 UDB のパフォーマンス最適化は長期的な課題です。マスタースレーブ、読み取り書き込み分離などの拡張により、高いパフォーマンスを実現でき、パフォーマンスやその他の側面を直線的に加速できます。

Luo Chengdui 氏は、MySQL の最新のパフォーマンス最適化後、一般的なシナリオでは QPS が 72,700 に、TPS が 3.6k に増加し、以前と比較して 32% のパフォーマンス向上が達成されたことを明らかにしました。

同時に、UDB 製品チームは、2018 年以降、テクノロジーのアップグレード、ハードウェアの交換、データ操作などの手段を通じて、さまざまな製品の値下げを複数回実施しており、値下げ幅は 30% から 40% に及びます。

3 番目に、データベースは安定していて信頼性が高く、優れたスケーラビリティを維持しており、これは成長するビジネスにとって最も有利な保証です。 UDB は、急速なビジネス発展のさまざまな段階に直接対応するソリューションを提供します。

業界を深く掘り下げ、ユーザーのニーズに応える

UDB のユーザー ベースは、インターネット、電子商取引、ゲーム、エンタープライズ サービス (SaaS/PaaS)、オーディオおよびビデオの読み取り、従来の企業など、さまざまな業界に広く分散しています。羅成堆はインタビューの中でいくつかの代表的なシーンを紹介した。

1. ゲーム。ゲーム業界の特徴は、爆発力が強く、ビジネスが継続的に利用可能で、ビジネスが急速に反復されることです。技術的なアーキテクチャの観点では、ほとんどのアーキテクチャは比較的単純で、つまりビジネスロジック + DB であり、最も一般的なのは単一ゾーンおよび単一サーバー設計です。これには、システムを迅速に起動し、高い可用性を維持できることが求められます。パフォーマンス要件が高い。設計モード（スキーマ）を柔軟に変更でき、異常時には誤った操作をロールバックできます。ライフサイクルが短いため、データベースには優れたスケーラビリティが求められます。

UDB は、分単位の同時作成 (通常は 1 分以内に配信) をサポートできます。 SSD+高可用性モデルは現在最も主流の組み合わせであり、パフォーマンスと高可用性が完全に保証されています。高可用性 UDB には、ゲームのライフサイクル終了時の運用コストに対応するためのオンライン スケーリング機能が備わっています。 UDB には、誤操作や障害による損失を回避するためのロールバック機能が組み込まれています。このゲームでは MongoDB と MySQL が広く使用されています。 MongoDB はスキーマフリーなので、スキーマの変更が容易になります。

2. 電子商取引。電子商取引業界の特徴は、多様なビジネスシナリオ、巨大なビジネスシステム、そして多くのフラッシュセールやプロモーション活動です。データベースに求められる要件は、高い同時実行条件下での高パフォーマンス、安定性と信頼性、容易な管理、容易な統合、キー保証、監視可能性、保守可能性です。

UDB はこれまで、継続的にパフォーマンスの最適化を何度も繰り返してきました。主流の構成条件下では、優れた TPS および QPS パフォーマンスを実現します。無料の「読み取り/書き込み分離」機能と組み合わせることで、フラッシュセールのようなシナリオでの同時実行性の急増に完全に対応できます。また、専用インスタンスやデータベースゾーンソリューションなど、さまざまな製品オプションも提供しており、さまざまな業務システムのパフォーマンス要件に多様に対応できます。たとえば、コア取引システムでは通常、ビジネスの安定性を完全に確保するために、最高級の専用高可用性インスタンスが使用されます。電子商取引企業は通常、独自の DBA チームと運用・保守システムを持っています。 UDB は、シンプルな Web コンソールとさまざまな OpenAPI を含み、優れた管理を実現できる DBaaS の一種です。さらに、監視、収集、パーソナライズされたプッシュなどの柔軟でカスタマイズ可能な機能を、eコマースの独自のシステムや運用・保守システムに接続できます。

UCloud の一貫した鉄の三角形のサービス モデルは、バックエンド DBA チームと連携して、517、618、Double 11、Double 12 などの主要な e コマース フェスティバルに包括的かつ集中的なサポートを提供します。

3. 代表的なインターネットアプリケーションには、個人用アプリ、広告、ソーシャルネットワーキング、O2O、ビデオ、教育、読書などがあります。これらは成長段階にあり、そのビジネス特性は爆発的な成長です。いつでも、データベースが最も弱いリンクになる可能性があります。この背後にある考慮は、まず圧力に耐え、次に最適化することであり、そのためにはデータベースの多次元的な弾力性が求められ、UDB にはそのような特性があります。パフォーマンス面では、オンライン構成のアップグレード、スレーブの動的な追加、自由な読み取り/書き込みの分離、データベース ゾーン内の専用インスタンスへのアップグレードが利用可能です。 UDDB は、業界で最も広く使用されているデータベース ミドルウェア テクノロジに基づいて構築されており、成熟したクラウド データベース製品 UDB を基盤ストレージとして再利用することで、スタンドアロン データベースの容量とパフォーマンスのボトルネックを効果的に打破します。

システム管理とビジネス アクセスの面では、UDDB はパブリック クラウドの利点を活用してミドルウェアと UDB ノードを統合し、スタンドアロン データベースと同じアクセス インターフェイスとユーザー エクスペリエンスを提供します。 UDB は分散データベース UDDB に拡張され、基本的にオンライン移行を実現します。 UDDB は強力なツールです。容量が不足している場合は、ノードを動的に拡張できます。パフォーマンスが不十分な場合は、ノードを動的に拡張できます。 UDB から UDDB への移行は、まさに新しい段階への移行です。最新の UDDB 3.0 バージョンは、分散トランザクションと分散結合を完全にサポートし、優れた互換性を実現できます。

UDBの今後の発展方向

将来の発展について議論する際には、まずUDBの本質を理解する必要があります。

まず、UDB は UCloud クラウド プラットフォームとともに進化してきました。原動力は3つあります。 1 つ目はインフラストラクチャ主導型で、最新世代の CPU やストレージ、クラウド プラットフォーム上の最新世代のネットワーク ディスクや分散ストレージ製品、基盤となる物理ネットワークなどの最新のハードウェアが含まれます。彼らは常に革新を続け、ますます能力を高めています。マイクロサービスとステートレス設計パターンの普及により、データベース テクノロジの選択はより多様化しました。

2番目はコスト主導です。商品として、大量生産されると単位投入量は減少します。同時に、最適なハードウェアやインフラストラクチャを継続的に導入することは、コスト管理に非常に有益です。

3 番目はスケール主導型であり、インスタンス、ユーザー、シナリオがますます増加します。そのためには、より多くのシナリオベースの機能を、「シンプルで使いやすい」製品の形でより速いスピードでユーザーに提供する必要があります。

これら 3 つの原動力の影響を受けて、UDB は今後 3 つの方向に発展していきます。
•まず、独自に開発されている最新世代の分散データベース UXDB など、機能とパフォーマンスがますます強力になり、信頼性がますます高まっています。
•第二に、コスト効率がますます高くなり、より多くのユーザーが恩恵を受けることになります。テクノロジーや運用を通じてコストを削減することは持続可能です。
• 3 つ目は、より効率的な UDB であり、主に運用と保守の効率に反映されます。 AI テクノロジーとの統合は、それを実現する良い方法です。ユーザーにとって、UDB はよりスマートで使いやすいものになります。たとえば、インテリジェントな CloudDBA は 1 つの方向です。

Luo Chengdui 氏は、将来的にはクラウド データベースのリソースベースの属性と付加価値属性の境界がますます曖昧になり、付加価値属性は最終的にリソースベースの配信に変換され、リソースベースの配信に完全に統合されると考えています。ユーザーには使用制限がなくなり、使用上の問題点や心理的負担がなく、シンプルで使いやすくなります。

主要製品: Redis データベースの進歩

UCloud にはさまざまなクラウド データベース製品があります。 UMem 製品の Redis は、最も主流のキー値メモリ ストレージであり、常に UCloud の主力製品となっています。最近、より大容量の Redis と、より高性能な分散 Redis がリリースされました。

1. 大容量のRedis

大容量メモリストレージに対するユーザーのニーズを満たすために、マスターおよびスタンバイ Redis の最大容量が 64G に増加しました。同時に、アプリケーションは、分散 Redis が現在サポートできないコマンド (トランザクション コマンドなど) を使用する必要があります。

こうした要望に応えて、UCloud は製品のソフトウェア アーキテクチャを更新しただけでなく、新しい大容量メモリ モデルを採用し、CPU シングルコア処理能力とネットワーク パフォーマンスを大幅に向上させました。 Redis のメモリ容量の増加に対応して、処理性能も約 1 倍向上し、ユーザーのワークロードの増大に対応します。

2. より高性能な分散Redis

分散型 Redis の高性能バージョンは、高性能、高同時実行性、低レイテンシ、分散キャッシュ (Redis に代表される) の柔軟な拡張と縮小に対するインターネット ユーザーの要件を満たします。

アーキテクチャの合理化の観点から、マルチプロセスの高性能プロキシは、プロキシからバックエンドの Redis シャードまでのレイテンシを可能な限り削減します。プライマリおよびバックアップ Redis リソース プール内の Redis ノードを動的に追加および削除し、分散クラスターがパフォーマンスと容量の弾力性を実現できるようにします。パフォーマンスが最適化されたプロキシに関しては、単一プロセスのパフォーマンスは Redis のパフォーマンスの 80% に達することができ、ワーカー プロセスを動的に追加することでパフォーマンスを拡張できます。

高性能な分散型 Redis 全体アーキテクチャの主要コンポーネントはすべて Docker コンテナに基づいて展開されるため、将来の管理にコンテナ オーケストレーションを使用するのが容易になり、ユーザーのさまざまな負荷要件を満たすために、より動的で弾力的な拡張が可能になります。

UMem 製品の今後の計画では、引き続き Redis コミュニティをフォローし、Redis の更新バージョンとその新機能をリリースし、IoT と監視におけるユーザーのニーズを満たす時系列データベース製品を作成します。次に、クロス アベイラビリティ ゾーン マスター スタンバイ Redis をベースに、クロス アベイラビリティ ゾーン分散 Redis を立ち上げ、完全なデータ バックアップおよびリカバリ技術ソリューションを提供しました。 3 つ目は、業界の新しいハードウェアとソリューション (更新されたアーキテクチャを備えた CPU、FPGA コンピューティング、ベアメタルを含む) に従って、メモリ ストレージのコンピューティング パフォーマンスを向上させることです。スタンドアロンおよびクラスター化された Redis の全体的なコンピューティング パフォーマンスをソフトウェア レベルで向上します (スタンドアロン マルチコア コンピューティング、読み取り/書き込み分離クラスター ソリューションなどを含む)。

追記

UCloud データベース チームのビジョンは、「敷居を下げる」、つまりユーザーがデータベースを入手して使用するための敷居を下げることです。 Luo Chengdui 氏の見解では、付加価値配信にはまだ利用限界がある。製品の観点から見ると、クラウド データベースの将来の開発では、短期的には 2 つの属性が共存しますが、長期的には統合され、最終的にはリソースベースの配信のみになります。データベース製品を使用する際に、ユーザーに心理的な負担がなく、シンプルで使いやすい製品です。今後、UCloud のデータベース製品 (UDB および UMem) はますますシンプルで使いやすくなるでしょう。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]