クラウドネイティブデータレイクの探求と実践: Mobvista EnginePlusチームがAlibaba Cloud Summitに参加したとき

人工知能からビッグデータ、クラウドコンピューティングまで、新しいテクノロジーの革命はあらゆるところで起こっています。それは私たちの日常生活を大きく変えるだけでなく、産業のデジタル変革に必要な道にもなっています。現在、わが国の中核人工知能産業の規模は1000億人民元を超え、全国で使用されているデータセンターラックの総数は400万近くに達し、大規模データセンターは250か所以上あります。

来たるデジタルの波に直面して、変革中の企業はどのようにして自社の方向性を特定し、最も適切な把握ツールとソリューションを見つけることができるのでしょうか?

5月28日、北京で「2021 Alibaba Cloud Summit」が開幕した。このサミットのテーマは「クラウド上のイノベーション」です。 Alibaba Cloudは、多くのゲストやパートナーとともに、企業のデジタルイノベーションに向けた新たなアイデア、戦略、新製品、ソリューションについて議論し、「クラウド上のイノベーション」の全体像を描き出しました。

28日午後に開催された「フルリンクデータサービス-ビッグデータとAIフォーラム」サブフォーラムでは、Mobvistaのシニアアルゴリズムアーキテクト兼EnginePlusプロダクトマネージャーであるChen Xu氏が講演に招かれた。彼はゲストとクラウドネイティブデータレイクの探求と実践を共有し、Mobvistaが自社開発したオープンソースデータレイクフレームワークStarLakeと新世代の「ワンストップクラウドネイティブビッグデータAIプラットフォーム」EnginePlusを紹介しました。

データ ウェアハウスからレイク ウェアハウス統合へ: データ分析アーキテクチャの進化

企業ビジネスの急速な拡大に伴い、派生データの量は爆発的な増加に直面しており、企業のデータ処理と分析に対する需要はますます緊急になっています。このような状況において、企業にとってインテリジェントなデータ処理の課題を解決するために、革新的なテクノロジーとソリューションが緊急に必要となっています。

Chen Xu 氏は、クラウドネイティブのデータ分析アーキテクチャが従来のデータ ウェアハウスからデータ レイク、そして統合されたレイクとウェアハウスへと進化してきたことを紹介しました。

Mobvistaのシニアアルゴリズムアーキテクト兼EnginePlusプロダクトマネージャーであるChen Xu氏が講演した。

従来のデータ ウェアハウスでは構造化データを重視しているため、今日のインターネット アプリケーションでは、面倒なモデリングや複雑なストリーム バッチ アーキテクチャなど、一連の問題が発生します。 Hive などの従来のソリューションは、クラウドネイティブの進化のトレンドと互換性がなくなりました。このような背景から、データ レイクが誕生しました。

データ レイクは、非構造化データの処理やストリームとバッチの統合など、データ ウェアハウスのいくつかの問題を解決します。さらに、クラウド上のメタデータとオブジェクト ストレージ機能も継続的に進化し、最適化されています。 OSS のサポートにより、コンピューティングとストレージをより適切に分離できるため、データ レイクの機能が拡張されます。

そのため、データレイクとデータウェアハウスの機能をさらに統合することが現在のトレンドとなっています。

陳旭氏は、ビジネスの観点から見ると、理想的なレイク・ウェアハウス統合はデータレイクをベースとし、メタデータ管理の拡張性が強く、オブジェクトストレージアクセスのパフォーマンスを最適化し、それによって幅広いテーブルのリアルタイムのマルチストリーム取り込み機能を最適化し、最終的には分析と科学的AIアプリケーションシナリオを統一的にサポートできるものだと述べた。

StarLake: Mobvista が独自に開発したオープンソースのデータレイク フレームワーク

Mobvistaは、インターネットビジネスにおけるデータレイクとレイクウェアハウスの統合を実践するために、データレイクフレームワークStarLakeを独自に開発し、オープンソース化したと報じられている。これにより、大規模データのリアルタイム取り込みと更新が実現し、レイクウェアハウス統合分析プラットフォームを効率的に構築し、開発者のクラウド移行とデータ処理の課題をより適切に解決できる。

レポートによると、同様のオープンソース データ レイク フレームワークと比較して、StarLake には次の機能があります。

マルチレベルのパーティション分割と、範囲とハッシュの 2 つのパーティション分割モードをサポートします。 Upsert シナリオでのパフォーマンスが大幅に向上し、リアルタイムのワイド テーブル機能をサポートできます。

分散 DB を使用してメタデータ管理を実装し、拡張機能をさらに向上します。

オブジェクト ストレージの特別な最適化: ファイル解析層を書き換えてストレージ層と統合することで、コンピューティングと IO の並列化を実現できます。

コピーオンライトモードとマージオンリードモードの両方をサポートし、高い同時書き込み機能をサポートします。

メタデータ、パーティション ルールなどは、コンピューティング エンジン レイヤーにさらにプッシュダウンされ、共同演算子の最適化が実行され、クエリ分析のパフォーマンスが向上します。

Chen Xu氏は、Mobvistaでは、StarLakeデータレイクフレームワークは「単独の兵士による運用」ではなく、クラウドネイティブアーキテクチャの下で企業に優れたサービスを提供する、新世代のワンストップクラウドネイティブビッグデータAIプラットフォームEnginePlusの一部であると述べました。

EnginePlus: 新世代のワンストップクラウドネイティブビッグデータAIプラットフォーム

記者は、EnginePlus プラットフォーム上で StarLake データ レイクが効率的なデータ取り込みを実現し、分析と計算の「基盤」を提供できることを知りました。同時に、Mobvista が独自に開発したオープンソースの機械学習フレームワーク MindAlpha にシームレスに接続し、データに対して人工知能モデリングを実行することもできます。

EnginePlus は、クラウド コンピューティングや人工知能などの情報技術とビッグ データを統合および革新し、データの取り込み、データの計算、モデルのトレーニング、オンライン予測のワンストップのクローズド ループを実現して、顧客がデータ処理の効率と精度を効果的に向上できるように支援します。大規模なビジネス生産によって検証された EnginePlus は、高速アクセス、使いやすさ、高性能、高安定性という特徴を備えています。

Chen Xu 氏は例を挙げ、典型的なパーソナライズ アルゴリズムのビジネス シナリオでは、ユーザー データ ストリーム、アイテム データ ストリーム、インタラクション データ ストリーム、オフライン データなど、複数のリアルタイム ストリームが存在すると述べました。StarLake データ レイク フレームワークを使用すると、リアルタイム ストリームを同時にレイクに直接入力できるため、複数の次元での更新を同期して実行できます。

OSS がデータ レイクに提供するストレージ機能と組み合わせることで、リアルタイムのワイド テーブルを構築できます。このプロセスでは、従来のデータ ウェアハウス モデリングと ETL プロセスが基本的に排除され、分析、BI、AI 計算を接続できるようになります。

このようにして、ビジネス プロセスはより俊敏になり、データ アーキテクチャは大幅に簡素化されます。このアーキテクチャは、広告、電子商取引、リスク管理などのシナリオで使用されていることがわかっています。

データ レイクのシナリオでは、クラウド ビジネス製品はどこに向かうのでしょうか?

クラウドネイティブ データ レイクの熱心なユーザーである Mobvista は、ビジネスの観点から StarLake データ レイク フレームワークのアーキテクチャ プラクティスを共有しました。アーキテクチャの観点から、データレイクのシナリオについて、Mobvista はクラウドベンダーが将来的に製品機能をどのようにさらに開発することを期待していますか?

講演後の円卓討論会で、陳旭氏は、インターネットビジネスとクラウドネイティブアーキテクチャの観点から、「レイクウェアハウス統合」の進化により、将来的にはアプリケーションシナリオと基礎アーキテクチャの「共同設計」のトレンドが見られるだろうと提案した。

Chen Xu 氏は、EnginePlus のデータ レイク コンポーネント StarLake は、ビジネス シナリオとクラウド上のオブジェクト ストレージのニーズに基づいた新しい統合設計を備えており、これも新しい「共同設計」であると考えています。レイクとウェアハウスの統合のトレンドでは、オブジェクト ストレージとアプリケーション レイヤーの統合も見られます。たとえば、OSS によって最近リリースされたアクセラレータは非常に優れた機能です。今後、クラウドベンダーはオブジェクトストレージにおけるメタデータ管理、一貫性、同時スループットなどの機能をさらに向上させ、さまざまなリアルタイムデータ分析シナリオをより適切にサポートし、レイク上のデータ分析システムをさらに統一できるようになるでしょう。これは非常に有意義な傾向です。

円卓討論会での陳旭氏

新たな産業発展の潮流に伴い、企業は新世代のデータインテリジェンス開発を実現し、ビジネスの生産性を解放し、より優れた「クラウドイノベーション」の展望を形成することが期待されています。