クラウドネイティブのインメモリデータベースであるTairは、ユーザーエクスペリエンスの最適化に役立ちます。

[[440067]]

Tair は、ダブル 11 ショッピング フェスティバル中のトラフィックのピークを処理するための強力なツールとして、電子商取引トランザクションのコア エクスペリエンス シナリオをサポートします。数十億 QPS のピーク時にスムーズなサブミリ秒のレイテンシを維持するだけでなく、電子商取引トランザクションのコアエクスペリエンスシナリオにおける技術革新も実現します。

1. はじめに

2021年のダブルイレブンは、Tmallにとって13回目のダブルイレブンであり、Tairにとっても13回目のダブルイレブンです。準備に参加したTairの生徒はそれぞれ異なっていました。初めて参加する学生もおり、技術チームビルディングならではの雰囲気を感じていました。生徒の中にはもっと多くの戦闘ローブを持っていて、ドラゴンを召喚するために 7 つの戦闘ローブを集めた人もいました。今年は私がこれまで経験した中で最もストレスの多い年でした。準備プロセスは浮き沈みに満ちており、今年発売された新製品のストレステストプロセスはスムーズではありませんでした。しかし、それは私が今まで経験した中で最も心温まるものでもありました。ビジネスパートナーの強力なサポートを得て、チームの兄弟が肩を並べて戦い、ついに「絹のように滑らかで、岩のように安定」した成果を達成しました。

II.背景

Tair は 2009 年 4 月のリリース以来、複数のバージョンを経て、幅広いビジネス シナリオに対応するさまざまなエンジンをサポートしてきました。その中でもMDB/LDBは開発期間が最も長いサブ製品であり、現在でもDouble Elevenの絶対的な主力となっています。 Double Eleven のトラフィックピークにもスムーズに耐え、ストレステストの段階でも良好なパフォーマンスを発揮します。その背景には、成熟したコア機能によるシナリオの包括的なカバーと、継続的に反復される製品機能によるメンテナンス効率の向上があります。もちろん、10,000 を超えるインスタンスを備えたデータベース製品は、システム所有者の高度な専門能力、製品操作への注意、ニーズへの迅速な対応と切り離せません。

製品自体の安定性に加えて、Tair MDB/LDB は、Tair 製品ラインの他のすべての製品の開発の基礎でもあります。たとえば、Tair MDB With PMem は、Tair の永続メモリにおける最初のマイルストーンであり、後に 2020 年の Yunqi カンファレンスでリリースされた Tair 永続メモリ タイプに反復されました。今年のダブルイレブンでは、永続メモリ アーキテクチャに基づく TairSQL により、インメモリ データベース Tair でサポートされるコンピューティング シナリオが拡張されました。今年のダブルイレブンでは、さまざまなシナリオでTairの持続メモリが重要な役割を果たしました。以下のセクションで詳細を紹介します。

3. タイア持続記憶

Tair 永続メモリは、Alibaba Cloud 公式サイトで一般販売され、Alibaba グループ内のコアアプリケーション向けのサービスも提供している、大容量の Redis 互換インメモリ データベース製品です。単一インスタンスのコストは、Redis コミュニティ バージョンと比較して最大 30% 削減でき、データの永続性は従来のディスクに依存しません。各操作の永続性を確保しながら、Redis コミュニティ バージョンに近いスループットとレイテンシを提供し、ビジネス データの信頼性を大幅に向上します。

Tair パーシステント メモリで使用されるストレージ メディアである Intel Optane PMem は、優れたメモリとストレージのパフォーマンスを兼ね備えたソリューションです。コスト効率の高い大容量メモリとデータ永続性のサポートを巧みに組み合わせています。より多くのデータを CPU の近くに保存し、大容量メモリのコンピューティングを高速化し、データベースの再起動時間を短縮して I/O を削減し、大容量メモリ ノードの電力消費を削減し、停電時にデータを保護することができます。

Intel Optane パーシステント・メモリーは、従来の SSD と DRAM の間のギャップを埋め、革新的なテクノロジーによる独自の動作モードを提供して、クラウドからデータベース、インメモリ分析、仮想化インフラストラクチャなど、さまざまなワークロード、特にデータ集約型および計算集約型のワークロードのニーズに対応し、より大きなデータセットからより深い洞察を得るのに役立ちます。

2020年のYunqiカンファレンスでの発表後、Tairパーシステントメモリは、クラウド上およびグループ内でより多くのユーザーシナリオに対応することで、ユーザーからのフィードバックを収集し、サポートされるシナリオの範囲、アクセスパフォーマンス、コスト効率などについてより高い要件を提示してきました。これらの要件に基づいて、Tairパーシステントメモリは、コア最適化テクノロジに取り組んで、DRAMとパーシステントメモリ間でデータを動的かつ適応的に移動できるようにし、ユーザーインデックスが占めるスペースとデータ領域が占めるスペースが一定の比率内に留まるようにし、さまざまなユーザーシナリオでのデータストレージニーズを満たしています。

同時に、Tair 永続メモリは Aliyun Linux オペレーティング システム カーネル テクノロジーと深く統合されており、マスター スレーブ レプリケーションやリアルタイム バックアップなどのシナリオでのデータ スナップショットのニーズに対応し、超大容量のメモリ使用下でのリアルタイム スナップショットの遅延の影響を大幅に軽減します。 Tair 永続メモリは、サポートされるシナリオの範囲を広げ、高頻度シナリオのパフォーマンスを最適化するだけでなく、自社開発の永続メモリ ストレージ構造が占有するメタデータ領域を削減し、より高いコスト効率を実現します。また、リスト、ハッシュ、その他の頻繁に使用されるデータ構造に対して洗練された透過的な圧縮を実行し、安定したデータ永続性パフォーマンスを維持しながら 1 ～ 2 倍のデータ圧縮率を達成し、データ永続性バージョンのハードウェア コストを大幅に削減します。

一般的な Redis シナリオでの継続的な最適化に加えて、Tair 永続メモリは、広告や機能のストレージなど、コスト、データの一貫性、低レイテンシ、容量に対する要件が高い領域にも拡張されます。同時に、2021年のダブルイレブン期間中、2つの異なるユーザーシナリオでイノベーションが行われ、アプリケーションのシステム安定性、費用対効果、エクスペリエンスが大幅に向上しました。まず、リスク管理シナリオで重要な役割を果たす TairCPC データ モデルを紹介します。

1. タイルCPC

2020年の双十一でデビューしたTairCPCは、今年Tairの永続メモリ製品に吸収され、双十一のリスク管理シナリオで重要な役割を果たしました。

TairCPC は、モジュールの形式でストレージ エンジンに埋め込まれた集計演算子のスケッチ機能を提供します。非常に小さなスペースでサンプリングされたデータに対して高性能な計算を実行し、ユーザーが増分データを書き込んだ後にリアルタイムの計算結果を直接返すことができます。グループの取引リンクの中核モジュールであるTairCPCを使用したリスク管理業務は、オンライン取引全体のセキュリティに直接影響を及ぼします。 TairCPC は、製品のコアとなるリアルタイム コンピューティング リンクのリアルタイム リスク管理シナリオで使用されます。

今年は、Tair 永続メモリの助けにより、このシナリオではダブル イレブン中に約 1/3 のストレージ スペースを節約できました。永続メモリのコスト上の利点と相まって、ユーザーコストは大幅に削減されました。 Tair CPC と Tair 永続メモリでは多くのパフォーマンス最適化が行われており、多くのシナリオでメモリに匹敵するパフォーマンスを実現しています。低速クエリのパフォーマンスが桁違いに向上し、システムの安定性が効果的に向上しました。パフォーマンスにほとんど影響を与えることなく、完全なデータ永続性 (RPO = 0) が実現されます。

2. タイルSQL

2021年のダブルイレブンの期間中にTairがコア検査シナリオで行った技術革新は、社内でTairSQLというコード名が付けられたサブシステムから生まれました。ダブル 11 のピーク期間中、ユーザーは注文時に自動的にクーポンを受け取り、取引が成功した後の資産の償却により、データベース システムに対応する書き込みトラフィックが発生します。製品検索や詳細表示などのショッピング ガイド シナリオでユーザーが受け取る価格の一貫した変化を体験できるようにするには、ミリ秒レベルの書き込みレイテンシを低いレベルに維持する必要があります。

データベース製品の価格一貫性シナリオの技術的な課題は、簡単に言えば、高い読み取りおよび書き込み負荷と厳しいレイテンシ要件です。このシナリオの技術的な課題に対処するために、次のセクションでは、TairSQL で使用されるコア テクノロジについて簡単に説明します。

TairSQL カーネル テクノロジー

TairSQL は、Double Eleven のビジネス特性に対応して、永続メモリ データ ストレージの変換、クライアント接続のオーバーヘッドの削減、クラスター初期化の高速化、メモリ使用量の最適化など、コスト効率と安定性に関する作業を実行しました。ただし、高スループットと低レイテンシのシナリオを提供するには、主に、永続的なメモリ ストレージ、効率的なトランザクション処理モデル、軽量なユーザー インターフェイス アクセスなどのいくつかのコア機能のメリットを享受できます。

• 永続メモリ データ ストレージでは、永続メモリを最終的なデータ ストレージ メディアとして使用し、アクセス リンク上の IO レイテンシを削減します。従来のデータベース製品のような時間のかかるキャッシュや、ディスク上での頻繁なデータ交換は必要ありません。さらに、インデックスデータとユーザー領域データのアクセス頻度に基づいて適切なデータ配分が行われ、高頻度のインデックスクエリ更新をDRAM内で完了できるようになります。
• トランザクション処理モデル: 水平方向にスケーリングされたクラスターでは、各ノードが数十のパーティションを処理します。各パーティションが個別のスレッドを使用して応答するトランザクション処理モデルは、ロック競合のオーバーヘッドを回避し、よりスムーズな P99 アクセス遅延を実現します。
• 軽量ユーザー インターフェイス: 軽量ユーザー インターフェイス アクセス テクノロジにより、各ユーザー要求の SQL 解析およびコンパイルのオーバーヘッドが削減されます。トランザクション処理モデルと組み合わせることで、ユーザーの読み取りおよび書き込み要求を数百マイクロ秒以内に処理して返すことができます。

認定されたカーネル技術は、製品の生理学的ニーズのみを満たします。製品の安全性のニーズは、対応する安定性技術を提供することで満たす必要があります。

TairSQL 安定性テクノロジー

安定性技術は、開発中の安定性重視の機能だけでなく、システムの動作状態を反映できる周辺コンポーネントなど、製品のあらゆる側面に関係します。次の章では、主に監視、クライアント、およびサーバー フロー制御という 3 つの安定性テクノロジについて説明します。

モニター。ご存知のとおり、監視はシステムの目です。監視がなければ、製品の動作の詳細を確認することは容易ではありません。 TairSQL には現在、2 つの主要な監視システムがあります。 1 つはクラスターの可用性に関連する指標を監視するために使用され、もう 1 つは Grafana + Prometheus + TairSQL エクスポーターのリンクであり、第 2 レベルで RT および QPS データ表示を提供します。監視の完璧さの度合いによって、システム内の詳細な問題を発見できるかどうかが直接決まります。たとえば、TairSQL の第 2 レベルの監視では、各データ ノードの QPS を明確に表示でき、ホットスポット アクセスによってフロー制御がトリガーされない場合に検出できます。最終的なデータ アクセス ソース データベースの観点から見ると、ホットスポットは隠れる場所がありません。

クライアント。 TairSQL はリッチ クライアント アプローチを使用しており、アクセスする必要があるノードにリクエストを直接ルーティングできます。クライアントのリソース消費制御、クライアントとサーバー間の相互作用のオーバーヘッド、10,000 を超えるアプリケーション ノードで接続を確立および切断する際のサーバーへの影響、サーバー トポロジが変更されたときのクライアントへのタイムリーなフィードバックはすべて、クライアント SDK で行われる実装上の考慮事項および最適化のポイントです。同時に、クライアントとグループのエコシステムである VipServer、Eagle Eye などの製品は、バックエンド ノードの変更がアプリケーションに与える影響を保護するように適応され、シャドウ テーブル リンクのアクセスとフル リンク アクセスの配置をサポートします。

サーバー側のフロー制御。フロー制御/バックプレッシャーは、成熟したサーバー側製品に必須の機能です。 TairSQL は現在、メモリ サイズと作業キューの長さに基づいて、オンライン サーバーのフロー制御統計を制限しています。極端なストレステスト中の状態がデフォルト値の基準として使用されます。フロー制御のトリガー段階は比較的緩やかであり、異常な状況でのみトリガーされます。回復段階は比較的厳格です。フロー制御状態は、ノードが正常に戻ったことが高い信頼度で判断された後にのみ解除されます。

4. ブラザーシステム

クラウドネイティブのインメモリデータベース Tair によるイノベーションは、Alibaba Cloud の包括的なインフラストラクチャのサポートと切り離すことはできません。

データベース管理および制御プラットフォーム DBaaS は、セキュリティ監査、高可用性、弾性スケーリング、インテリジェント診断などの Alibaba Cloud Database が提供する一般的な機能と、Tair が提供するデータ フラッシュバックやグローバル配信などのエンタープライズ レベルの機能を迅速に実装します。 Tair 永続メモリの場合、DBaaS は Alibaba Cloud Container Service ACK と組み合わせて、永続メモリ リソースとコンピューティング リソースのアフィニティ スケジューリングをサポートし、永続メモリ アクセスのレイテンシを削減し、永続メモリの QoS ポリシー サポートを提供し、安全で制御可能なサービスと一貫した製品エクスペリエンスを保証します。

Shenlong ベアメタル サーバーが提供する永続メモリ シリーズ製品は、クラウド ネイティブのインメモリ データベース Tair の弾力性のあるサービスの基盤を提供します。バースト トラフィックに最適化されたネットワーク テクノロジーにより、Tair は高スループットのシナリオを簡単に処理できます。メモリなどのハードウェア リスクをインテリジェントに予測することで、Tair はプロモーションのピーク期間のリスク レベルを事前に予測し、回避することができます。

Aliyun Linux は永続メモリ ハードウェアに適応するだけでなく、Tair 独自の永続メモリ データ スナップショット サポート、リアルタイム スナップショットのレイテンシ削減、その他のビジネス シナリオに合わせた最適化も提供します。

V. 結論

2021年のTmall Global Shopping FestivalにおけるTair永続メモリバージョンのパフォーマンスは、クラウドネイティブのインメモリデータベースTairの製品進化とオンライン開発における重要なマイルストーンです。 Tair は、メモリ/永続メモリをコアストレージとして引き続き使用し、クラウドネイティブ、ハイブリッドストレージメディア上のインテリジェントデータ配信、オンラインストレージ、統合リアルタイムコンピューティング処理などのコア機能の構築に注力し、クラウドネイティブメモリデータベースの製品機能を強化し、同じシステムで複数のワークロードを提供することで、多くのシナリオで顧客が真にオンラインになるのを支援します。