ダブル11の最も貴重な技術情報！ 2,684億ドルの背後にあるアリババの4つの核心技術革新

一方では、世界的にトラフィックのピークが到来し、他方では、コアシステムは 100% クラウド上にありました。アリババクラウドはダブル11で持ちこたえた。

過去 1 年間で、アリババはオフライン データ センターに展開されていた数万のアプリケーション、数十万のサーバー、数百万のコンテナーをパブリック クラウド プラットフォームに移行しましたが、消費者や商人はこの「飛行機のエンジン交換」プロセスに気づいていません。今年の受注ピークは1秒あたり54万4000件に達し、これは2009年の最初のダブル11の1360倍に相当します。

その背後にあるあらゆる技術インフラはスーパープロジェクトであり、その中にはFeiTianクラウドオペレーティングシステム、自社開発のShenlongサーバー、クラウドデータベース、リアルタイムコンピューティング、AIテクノロジーなどがあり、これらはコアシステムの100％クラウド移行の礎となっています。

「深夜にはコンピュータ リソースの大部分をトランザクションなどのアプリケーションに割り当て、午前 1 時以降はデータをデータ処理システムに割り当てます。」張建鋒氏は「最初の10分間は、消費者は基本的に動揺を感じず、皆の買い物は非常にスムーズだった」と明らかにした。

消費者がスムーズに買い物ができるようにするために、アリババは次の4つのことを行いました。

1 つ目は、クラウド コンピューティング業界を悩ませてきた仮想化パフォーマンスの低下問題を解決するために、コア仮想化システムを独自に開発することです。

一般的なコア電子商取引システムでは、低レイテンシのシステムが多数存在します。一般的なインメモリ データベースのシナリオを例にとると、単一のビジネス リクエストは数マイクロ秒以内に完了します。パフォーマンスが基準を満たしていない場合、消費者はTmallやTaobaoで買い物をする際に遅延などのさまざまな問題に遭遇することになります。

このような要求を処理するために、従来の仮想化テクノロジではマイクロ秒レベルの追加のオーバーヘッドが導入され、最終的にはサービスのエンドツーエンドの遅延が指数関数的に増加し、ビジネスニーズを満たすことができなくなります。

したがって、クラウドに移行する場合、まず解決しなければならないのは、パフォーマンスをいかに確保するかということです。このような背景から、Alibaba Cloud Shenlong Cloud Server が誕生しました。

X-Dragon は、Alibaba Cloud が独自に開発した新世代の IaaS コア コンピューティング アーキテクチャです。その革新性は、自社開発の「X-Dragon 仮想化チップ」、「X-Dragon ハイパーバイザー システム ソフトウェア」、および「X-Dragon サーバー ハードウェア アーキテクチャ」から生まれます。その革新性は、ソフトウェアとハ​​ードウェアの緊密な統合にあり、専用チップを使用して仮想化テクノロジによって生じるパフォーマンスの低下を相殺し、プロセッサとメモリのパフォーマンスを最大限に活用します。

今年のダブル11で使用された神龍アーキテクチャに基づく弾性ベアメタルサーバーは、パフォーマンス損失の大きな山をうまく克服しました。 CPUとメモリはともにパフォーマンス損失ゼロを達成し、チップレベルで加速されたエラスティックネットワークカードとクラウドディスクストレージにより、クラウドコンテナキャリアとなり、ダブル11のトラフィックピークをうまく運びました。同一構成の物理マシンと比較すると、業務システムのパフォーマンスが 20% 向上するだけでなく、高負荷圧に対する耐性も向上します。全体的な業績は非常に安定しており、直線的であるため、消費者のダブル11ショッピング体験は「絹のようにスムーズ」です。

さらに重要なのは、一般的なサーバーにかかる負荷が増加すると、その負荷容量が徐々に低下していくということです。それは直線的ではありません。 Shenlong サーバーにかかる圧力が高ければ高いほど、出力はより直線的になりますが、これを実現するのは非常に困難です。

2 番目に処理する必要があったのはデータベースでした。今年のダブル11の背後には2つの重要なデータベースがあります。1つは自社開発のOceanBaseで、これは以前TPC-Cテストで世界一を獲得したテクノロジースターです。ダブル11当日、ピーク処理速度は記録破りの毎秒6100万回に達しました。

自社開発のクラウドネイティブ データベースである PolarDB は、ストレージとコンピューティングの分離、ハードウェアとソフトウェアの統合などの革新的な設計を採用し、大規模なビジネス シナリオのクラウド ニーズに対応します。第6回世界インターネット会議において、PolarDBは世界をリードするインターネット科学技術の成果として選ばれました。 Double 11 トランザクション中、OceanBase と PolarDB の 1 秒あたりのピーク処理量は、従来の Oracle データベースのそれをはるかに上回りました。

ダブル11は社会全体にわたる大規模なコラボレーションです。 Double 11 システム全体でビジネスフロー、情報フロー、資本フローがスムーズかつタイムリーかつ正確に同期されるようにするために、データベースは非常に重要な技術的リンクです。

OceanBase と PolarDB に加え、RDS、AnalyticDB、TSDB を含む幅広いデータベース製品が Double 11 に参加し、Alibaba の内外の顧客がテストに合格し、何億人もの消費者のショッピング体験を確保できるようにサポートしました。

3 つ目は、コンピューティングとストレージの分離です。現在、Alibaba にはデータを保存するための専用の場所があります。データはリモートでアクセスされるため、ストレージを非常に簡単に拡張できます。

コンピューティングとストレージを分離した設計アーキテクチャに基づいて、ストレージはさまざまなシナリオで大きな役割を果たすことができます。

例えば、AI音声ショッピングや製品アプリケーション管理のシナリオでは、Alibaba Cloud File Storage NASは高性能共有ファイルシステムとして、単一インスタンスで数万QPSとミリ秒レベルのレイテンシ処理機能を提供し、1日のトラフィックの50倍にスムーズに対応し、ビジネスシステムがダブルイレブンのピークにうまく耐えられるようにサポートします。

大量の画像やライブ動画の処理に関しては、Alibaba Cloud Object Storage OSS は、非構造化データの統合ストレージ システムとして、数兆個の製品詳細、メイン画像、動画、音声、ドキュメント、その他のマルチメディア ファイルを保存し、総容量は数 EB に上ります。

また、FPGA 画像処理サービスもあり、シングルマシンの 5 倍のパフォーマンスと 1/10 の処理遅延により、Double 11 のより安定した効率的な画像処理を実現します。

最後に、最大の改善点は RDMA ネットワークです。数十の Alibaba データセンターが RDMA ネットワーク テクノロジーをサポートしており、レイテンシを 90% も大幅に削減し、コンピューティング要件を最大限に満たすことができます。

RDMA は業界で人気のある高性能ネットワーク テクノロジーです。これはデータ転送時間を大幅に節約でき、人工知能やスーパーコンピューティングなどの効率向上の鍵となると考えられています。データによると、RDMAネットワークを使用しない場合、音声認識トレーニングの各反復の期間は650ms〜700msで、そのうち通信遅延が400msを占めています。

2016年以来、アリババはRDMAを変革し、伝送パフォーマンスを向上させるために多大なリソースを投資してきました。大規模アプリケーションのニーズを満たすために基盤となるネットワークカードを独自に設計し、アリババの自社開発スイッチと組み合わせてパフォーマンスを最大化し、最終的に世界の大規模データセンター内に「高速ネットワーク」を構築し、クラスターが伝送速度のボトルネックを大幅に突破できるようにしました。

現在、Alibaba Cloudは世界19のリージョンに56のアベイラビリティゾーンを持ち、総ネットワーク帯域幅はPBレベルの超大規模に達しています。同時に、次世代データセンターネットワークの構築をサポートするため、シリコンフォトニクス技術に基づく400G DR4光モジュールを発売しました。

このようなネットワーク インフラストラクチャのおかげで、コンピューティングとストレージの分離、ゼロ損失の神龍、記録破りのデータベースが Double 11 の最も輝かしいスターとなっています。

さらに称賛に値するのは、FeiTian クラウド オペレーティング システムから Shenlong サーバー、データベース、スイッチ、スイッチ オペレーティング システム、RDMA ネットワークまで、すべてが Alibaba によって自社開発されていることです。

「今日、私たちはハードウェア、データベース、クラウドコンピューティングオペレーティングシステムから、上記のコアアプリケーションプラットフォームまで、非常に豊富で強力な機能を蓄積してきました。この4つが1つになったことで、アリババ経済全体のすべてのコアアプリケーションを実行できるようになりました。これが、今年のダブル11とこれまでの年との最大の違いです。」張建鋒は言った。