アリ・ジア・ヤンチン：ビッグデータとAI機能を通じて企業にアップグレードの力を提供する

[51CTO.com からのオリジナル記事]企業がビジネスを革新し、効率性を向上させたい場合、データをうまく管理して使用するだけでは不十分で、AI 技術のサポートも必要です。 「ビッグデータとAIは切り離せない。この2つが融合してこそ、企業はデジタル時代の不確実性に冷静に対処できる」とアリババの副社長でアリババクラウド・コンピューティング・プラットフォームの責任者である賈陽青氏は述べた。

しかし、多くの企業が AI 分野に参入すると、アルゴリズムやその他のテクノロジーがもはや主要な問題点ではなくなることに気付くでしょう。 AIエンジニアリングの実装シナリオとAIエンジニアリング技術ソリューションの急速な構築は、克服できないギャップです。

Jia Yangqing 氏は、AI エンジニアリングとは何か、AI エンジニアリングをどのように実装するか、Alibaba Cloud がユーザーの AI エンジニアリングをどのようにサポートするかについて詳しく紹介しました。

供給の観点から見ると、AI エンジニアリングはデータとコンピューティング能力のクラウドネイティブな性質です。

ご存知のとおり、AI はデータと計算能力によって駆動されます。コンピュータービジョン、自然言語処理、その他の AI システムであっても、データの量と切り離すことはできません。

しかし、ムーアの法則によれば、単一の CPU コアの計算能力は 18 か月ごとに 2 倍になります。しかし、2008年頃からムーアの法則は崩れ始め、コンピューティング能力の成長率は徐々に鈍化し始めました。

同時に、データの量が増えるにつれて、モデルの精度はますます高まります。 AI のニーズをサポートするには、データ面でもコンピューティング面でも、より大規模で大容量の基盤が必要です。

最近、アリババと清華大学は共同で、超大規模中国マルチモーダル事前トレーニング済み1000億パラメータモデルM6をリリースしました。そのデータセットには1.9TB以上の画像と292GBのテキストが含まれており、パラメータ規模は1000億に達します。製品説明の生成、視覚的な質疑応答、質疑応答、漢詩の生成などのクロスモーダルタスクを完了できます。

コアテクノロジーの観点から見ると、AI エンジニアリングはスケジューリングとプログラミングのパラダイムのスケーリングです。

大規模で巨大な基地を建設する場合、コストの問題に直面することがよくあります。まず、大規模なモデルをトレーニングするには、大規模なコンピューティング用の GPU が必要です。たとえば、Nvidia の DGX2 の価格は 1 台あたり 20 万ドルです。トレーニング モデルには 64 台のマシンと 512 個の GPU が必要です。大規模なトレーニング専用のクラスターを構築する場合、費用は1億元程度かかる可能性があります。

Alibaba Cloudは、M6モデルをトレーニングする際に、生産マシンの明らかな「潮汐効果」を利用しました。日中はオンラインサービスのボリュームが多く、マシンの使用率が高く、夜間はトラフィックが少なく、コンピューティングボリュームも低くなります。 AI コンピューティング タスクを小さな部分に分割し、アイドル リソースのあるマシンに展開します。このように、M6 モデルをトレーニングする場合、新しいマシンを購入する必要はありません。代わりに、既存の運用クラスターで Tidal 機能を使用して、コンピューティング能力を高めることができます。

2つ目は人的コストです。 AI には比較的明確な目標指向のフレームワークがなく、簡単に複製することもできません。 AI プログラムは、マシンとリソース間でデータをスケジュールし、アルゴリズムをパラメータ サーバーに配置し、さまざまなマシンに指示を発行する必要があります。そのため、AIエンジニアは多くの複雑なコードを書く必要があります。

リソースのスケジュールと割り当てをより適切に実装する方法、そしてエンジニアが分散プログラミング パラダイムをより簡単に記述できるようにする方法、特にスケーリングする方法も、明らかに必要なことです。

[[402369]]

Alibaba Cloud は、比較的シンプルでクリーンなプログラミング フレームワークである Whale を設計しました。これにより、開発者は単一マシン プログラミング パラダイムから分散プログラミング パラダイムに簡単に移行できるようになります。たとえば、モデルを 4 つのステージに分割するように Whale に指示するだけで、Whale は計算のためにこれらのステージを異なるマシンに自動的に配置します。

需要や輸出の観点から見ると、AIエンジニアリングは開発とサービスの標準化と普及です。

AI には多くの興味深いモデルがあり、これらのモデルを実際のシナリオにさらに適用できるようにするには、多くの作業を行う必要があります。しかし、AI がどのようにモデル化され、トレーニングされ、展開されるかを学ぶ時間を持つ人は誰もいません。

そこで、Alibaba Cloud は、開発者が高度な AI 技術をより簡単に利用できるようにするためにはどうすればよいかを考えてきました。

Alibaba Cloud Machine Learning Platform PAI チームは、モデルの作成からモデルのトレーニング、モデルの展開まで、Alibaba Cloud IaaS 製品に基づいてクラウド上に完全な AI 開発ライフサイクル管理システムを構築しました。

Alibaba Cloud の機械学習プラットフォーム PAI は、クラウド コンピューティングを利用してストレージとコンピューティングのコストを削減します。同時に、アルゴリズムをより速く進化させるためには、アルゴリズム エンジニアがシステムのコンピューティング機能とデータ機能を簡単に利用できるように、多くのツールを提供する必要があります。その中で、Studio プラットフォームはビジュアルモデリングを提供し、DLC プラットフォーム (Deep Learning Container) はクラウドネイティブのワンストップディープラーニングトレーニングを提供し、DSW プラットフォーム (Data Science Workshop) はインタラクティブモデリングを提供し、EAS プラットフォーム (Elastic Algorithm Service) はよりシンプルで安心なモデル推論サービスを提供します。

[[402370]]

これまで、アリババクラウドはビッグデータとAIプラットフォームを通じて、宝鋼、三一集団、四川農村信用協同組合、太平洋保険、小紅書、VIPKID、斗魚など、各界の顧客にサービスを提供してきました。アリババクラウドは、ビッグデータとAI機能を通じて、企業にアップグレードの推進力を提供したいと考えています。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]