Alibaba Cloud のコンピューティング能力がさらに飛躍しました: Stream Compute 2.0 が 1 秒あたり 1,000 万 QPS のピークに到達

10月12日、アリババグループの周景仁副社長は雲旗カンファレンスで、アリババクラウドのビッグデータコンピューティング能力における新たなブレークスルーを発表しました。BigBenchのデータ規模が100TBに拡大されました。 Stream Compute 2.0 のピーク QPS は 1,000 万で、全体的なリンク遅延は 1 秒未満でした。 E-MapReduce は、類似製品と比較して平均 3 倍のパフォーマンス向上を実現しました。

[[206110]]

周景仁氏は、データは機械知能イノベーションの基盤であり、十分な計算能力があって初めてデータの価値を最大限に引き出すことができると述べた。私たちは、Alibaba Cloud のコンピューティングのメリットを継続的に提供することで、開発者がより多くの市場機会を獲得できるよう支援したいと考えています。

BigBenchが世界で100TBに到達

TPCx-BigBench は、ビッグデータのエンドツーエンドの現実世界の複雑さをテストする業界をリードするベンチマークです。現在、TPC公式サイトで発表されている最大テストサイズは10TB、最大パフォーマンスは1491.23BBQpmとなっている。

同日、アリババクラウドはインテルと協力し、パブリッククラウドをベースとした最新のインテルハードウェア上でBigBench On MaxCompute+PAIをリリースした。規模は100TBに拡大し、7000BBQpmに達し、パブリッククラウドサービスに基づく世界最大のベンチマークにもなりました。

報道によると、カンファレンス終了後、MaxCompute はパブリッククラウド上に 1 か月間テスト環境を公開し、開発者が検証および試用できるように BigBench On MaxCompute+PAI SDK (TPCx-Bigbench から継承され、Alibaba Cloud のビッグデータ環境で実行できるようにしたもの) をオープンソース化するとのことです。

優れたスケールパフォーマンスは、MaxCompute の膨大なデータ処理能力と機械学習アルゴリズムの高効率性によるものです。 MaxCompute は、Alibaba Cloud が独自に開発した分散オペレーティング システム Fei Tian をベースにしています。単一のクラスター サーバーの規模は 10,000 を超え、データ規模は EB レベルに達する可能性があります。

パフォーマンスの面では、MaxCompute の新世代処理エンジンは、コンパイラ、オプティマイザー、ランタイムなどのモジュールで継続的かつ詳細な最適化を実行します。さらに、MaxCompute は Intel と緊密な協力関係を築き、ソフトウェアとハ​​ードウェアを組み合わせた高度な最適化を実現しました。

Intel データセンター グループの副社長、ロバート ヘイズ氏 - 「Alibaba Cloud と連携して、最新の Intel® Xeon® スケーラブル プロセッサー プラットフォーム上で MaxCompute を徹底的に最適化し、BigBench テストで Alibaba Cloud MaxCompute の優れたパフォーマンスを目の当たりにできたことを大変嬉しく思います。」

より高速なストリームコンピューティング 2.0

ストリームコンピューティングに関しては、周景仁氏は、10月末にパブリッククラウド上で新バージョンがリリースされることを明らかにした。 StreamCompute 2.0 は Apache Flink をベースとしており、オープンソース コミュニティに Alibaba 内部の多数の改善と最適化を提供します。

Stream Computing 2.0 の新しいバージョンには、次の機能があります。

1. 高いスループットと低レイテンシの処理能力。単一ジョブのピークは数千万QPSで、StreamCompute 1.0の10倍以上の改善です。

2. SQL ベースのストリーミング分析言語である BlinkSQL は、Alibaba Computing Division のリアルタイム コンピューティング チームによって開発され、コミュニティに貢献しました。 BlinkSQL は、複数のウィンドウ、順序不同の許容度、完全な DDL サポートなど、完全なストリーミング処理セマンティクスをサポートします。

3. 正確なデータ処理セマンティクス。1 回限りの処理セマンティクスを提供すると同時に、増分チェックポイントを提供してディスク IO を削減し、ストレージ スペースを最適化します。

E-MapReduceのパフォーマンスが3倍向上

E-MapReduce は、Alibaba Cloud 上のオープンソース ビッグデータに基づくクラウド サービス製品であり、15 を超えるオープンソース コンポーネントを備えたワンストップ ビッグデータ ソリューションが含まれています。周景仁は、ローカルハードディスクとコンピューティングとストレージの分離に基づくビッグデータソリューションをその場でリリースしました。

周景仁氏は、ビッグデータ処理と機械学習の統一スケジューリングの問題を解決するために、E-MapReduce 製品では CPU/GPU ハイブリッド スケジューリング ソリューションを実装し、データの前処理とデータのトレーニングを 1 つのプラットフォームで解決できると紹介しました。

E-MapReduce は、データの読み取りと書き込みのパフォーマンスに不可欠です。オブジェクトストレージOSSを最適化することで、OSSの読み取りと書き込みのパフォーマンスが類似製品の3倍になり、コンピューティングとストレージを分離したビッグデータソリューションの製品形態が実現可能になります。