アリババの総合コンピューティングプラットフォーム責任者、関涛氏：エンタープライズレベルのビッグデータコンピューティングプラットフォームの進化

コンピューティングの価値はコンピューティングそのものよりもはるかに大きく、より多くの洞察とより強い推進力をもたらします。

2018年杭州雲旗大会のメインフォーラムで、アリババの総合コンピューティングプラットフォーム責任者である関涛氏は、「当初はアリババのデジタル化を目指していました。その後、デジタル化を企業レベルにまで拡大したいと考えました。現在は都市のデジタル化に着手しています」と語った。同時に、コンピューティングパワー、共同コンピューティング、インテリジェンス、エンタープライズレベルのサービス機能という4つの側面から、アリババの統合ビッグデータコンピューティングプラットフォームの探求と実践についても紹介しました。

デジタル都市を支えるコンピューティングパワー

MaxCompute は、Alibaba が 9 年前に開発した 3 つの主要コンポーネントの 1 つである Apsara システムの分散コンピューティング部分です。 9 年後の現在、EB レベルのデータ ストレージ機能と数百 PB レベルの毎日のコンピューティング機能を搭載できるようになりました。パブリッククラウドは国内外の十数カ国と地域をカバーしており、シティブレインを含むプライベートクラウドは100セット以上を展開している。

杭州市のデータサポートシステムとして、ET City Brain は間違いなく数字とコンピューティングに対する最高の要件を備えています。手頃な価格で迅速かつ正確に計算を行うには、強力なコンピューティング プラットフォームが必要です。

システム アーキテクチャの観点から見ると、MaxCompute の基盤レイヤーには異機種コンピューティング クラスターが含まれており、これらは統合されたメタデータ管理およびスケジューリング システムを通じて相互にリンクされています。バッチ コンピューティング、ストリーム コンピューティング、インメモリ コンピューティング、機械学習、反復処理などの一連のコンピューティング機能を提供します。

コンピューティングプラットフォーム：コンピューティング能力は最も重要な指標です

2015 年の GraySort コンテストでは、MaxCompute が 100 TB のデータを 377 秒でソートし、世界チャンピオンに輝きました。 2016 年には CloudSort 1 位を獲得しており、高速なだけでなく安価であることも証明されています。

2017年にはTPCX-Bigbench 100TBの30のクエリ指標に挑戦し、テストに合格した最初のコンピューティングエンジンとなりました。 2018 年には、同じ 100 TB 規模で、パフォーマンス指標が 2 倍になりました。さらに、超小型 10TB 規模という点では、そのパフォーマンスは他のオープンソース競合製品の 3 倍です。

「コンピューティング能力の継続的なアップグレードにより、コンピューティング能力はより安価になり、インテリジェンスはより手頃な価格になるでしょう。」

計算をプッシュダウンする方がデータを上に移動するよりも効率的です

通常、ユーザーがクラウドに移行すると、そのデータは 1 つのシステムに保存されません。オンライン サービスの場合、データは通常、フロントエンド ビジネスをサポートするためにデータベースに保存され、半構造化ログと非構造化オーディオおよびビデオ データは通常、データ レイクに保存されます。フロントエンド データベース内のデータは非常に豊富なインデックスによってサポートされており、非常に効率的に計算できます。バックエンドは超大規模ストレージであり、中間には超大規模データ計算をサポートするために構造化データを列形式で保存するビッグデータシステムがあります。

しかし、ここで直面する課題の 1 つは、ユーザーがどのようにしてすべてのデータをまとめて最良の結果を得るかということです。この課題には通常 2 つの解決策があります。 1 つは、すべてのデータを同じシステムに移動し、アップロードして同期してから計算を実行することです。このとき、3つの問題が生じます。まず、データの冗長性が発生します。これは、同じデータのコピーを 1 つまたは 2 つバックアップするのと同じです。 2 つ目は、同期に遅延があり、遅延中は計算を実行できないことです。 3 番目に、リアルタイムのパフォーマンスが影響を受けます。
「これに基づいて、私たちはフェデレーテッド コンピューティングの概念を提案しました。コンピューティングを下位にプッシュする方が、データを上位に移動するよりも効率的だと考えています。」
フェデレーテッド コンピューティングとは何ですか?つまり、データの同期は必要なく、ビッグデータシステム内のジョブを介して他のシステムと連携することができます。各部分は、その時点でのシステムの最適な最適化に依存して最善の決定を下し、このレベルでデータ間の連携と接続を実現します。

オートデータウェアハウスはビッグデータによる自律走行を可能にする

5年前、アリババはデータの爆発的な増加という大きな課題に直面していました。これらのデータ間の関係や操作間の関係は複雑すぎるため、人間には理解できませんでした。データに冗長性はありますか?計算は再利用できますか?ジョブが失敗したり、データの問題が発生した場合、その影響はどの程度大きくなりますか?

そこで 5 年前、私たちは最も基本的なデータの検出可能性から始め、次にデータ系統に取り組み、データ間の関係を見つけ、ホット データとコールド データを分離する機能を検討し、最後に自動データ最適化を検討しました。 ***、新しいデータ テーブルが取り込まれると、関連するリレーションシップが自動的に見つかります。これはAuto Data Warehouseデータ自動運転システムです。このシステムにより、アリババ内のコンピューティング最適化が 35% 向上し、データの冗長性と重複排除の観点からストレージ容量が 20% 削減され、リソース計画におけるコンピューティング効率が 75% 以上向上しました。

MaxCompute は、単一のエンジンではなく、企業向けの完全なサービスです。

システムの計算能力の要件に加えて、杭州シティブレインには安定性、災害復旧、回復性、弾力性も含まれます。緊急事態に遭遇した場合、早期警告と自己回復能力が必要です。すべての機能は、「エンタープライズ機能」という 1 つの単語にまとめることができます。 MaxCompute は単なるコンピューティング エンジンではなく、エンタープライズ サービスの完全なセットです。
MaxCompute には、コンピューティングに加えて、アカウント、プロジェクト管理、データ セキュリティ、監視、財務災害復旧などのシステムも含まれています。今年は、DQCデータ正確性検証システムをリリースし、データ統合およびジョブパイプライン管理システムを備え、機械学習、データ分析、BIプラットフォームと連携できるDataWorks開発およびデバッグプラットフォームをアップグレードしました。

「コンピューティング能力、共同コンピューティング、インテリジェンス、エンタープライズレベルのサービス機能が、企業向けの完全なビッグデータ プラットフォームを構成します。アリババは、ビッグデータ コンピューティング機能の全体を活用して、デジタル中国を継続的に推進します。」