アリババクラウド神龍アクセラレータエンジンがTPCx-BBで1位を獲得、2位に40%差

このほど、国際標準化試験機関TPCはビッグデータ処理性能TPCx-BB SF3000の最新ランキングを発表した。アリババクラウドが独自に開発した神龍ビッグデータ加速エンジンは、2187.42BBQpmのスコアで世界記録を更新し、2位に40％以上の差をつけました。

(TPCx-BB SF3000 性能次元ランキング)

(TPCx-BB SF3000 価格/性能ランキング)

TPCx-BB は、小売シナリオに基づき、国際標準試験機関 (TPC) によってリリースされたエンドツーエンドのビッグデータ テスト ベンチマークです。主流の分散型ビッグデータ処理エンジンをサポートし、オンラインおよびオフラインのビジネスプロセス全体をシミュレートし、記述的な手続き型クエリ、データマイニング、機械学習アルゴリズムを含む 30 個のクエリステートメントを備えています。

今回、アリババクラウドは自社開発の神龍ビッグデータ加速エンジンMRACC（ApasaraCompute MapReduce Accelerator）でこのコンテストに参加しています。 MRACC は、自社開発の Shenlong アーキテクチャの特性を組み合わせることで、Spark、Hadoop、Alluxio などの一般的に使用されるビッグデータ コンポーネントを最適化し、独自のパフォーマンス上の利点を実現します。最終的には、複雑な SQL クエリ シナリオのパフォーマンスが Spark のコミュニティ バージョンと比較して 2 ～ 3 倍向上し、eRDMA を使用することで Spark のパフォーマンスが 30% 高速化されます。

具体的には、ビッグデータタスクの重いIO特性に対応して、Alibaba Cloud MRACCはクラウドのアーキテクチャ上の利点を組み合わせて、ソフトウェアのSQLエンジンの最適化、キャッシュ、ファイルのトリミング、インデックス作成などの最適化方法の使用、圧縮などの操作の異種デバイスへのオフロードの試みなど、ネットワークとストレージの観点からソフトウェアとハ​​ードウェアのアクセラレーションを実行します。また、ネットワークの高速化に eRDMA を使用し、eRDMA ネットワーク上のシャッフル ステージでデータ交換を実行することで、レイテンシが短縮され、CPU 使用率が大幅に向上します。

TPCx-BB のテスト結果は、構造化データ、半構造化データ、非構造化データを含むエンドツーエンドのビッグデータ システムの全体的な動作パフォーマンスを包括的かつ正確に反映できることが報告されています。実際の顧客シナリオの観点から、ビッグデータシステムのソフトウェアとハ​​ードウェアのパフォーマンス、コスト効率、サービス、電力消費をより包括的に評価することができ、さまざまな業界のインフラストラクチャ選択にとって重要な参考意義を持ちます。