アリババは、NvidiaやGoogleと比較してコンピューティング電力消費を80％削減する1兆パラメータのAIモデルM6をリリースしました。

6月25日、アリババDAMOアカデミーは巨大モデルM6の「低炭素バージョン」をリリースしました。これは、兆パラメータの超大規模モデルのトレーニングにおけるエネルギー消費を大幅に削減した世界初の製品です。 DAMOアカデミーチームは一連の画期的な技術革新を通じて、わずか480枚のGPUカードを使用して、人間のニューロンの10倍の大きさである1兆個のパラメータを持つM6マルチモーダル大規模モデルをトレーニングしました。 NVIDIAやGoogleなど海外企業が達成した兆パラメータ規模と比較すると、エネルギー消費量は80％以上削減され、効率は11倍近く向上した。

AI コミュニティでは、ビッグモデルが次世代の人工知能インフラストラクチャになるというコンセンサスが形成されています。生物のニューロンの数が多いほど賢くなる傾向があるのと同様に、パラメータスケールが大きい AI モデルは知能の上限が高くなる傾向があります。大規模なモデルをトレーニングすることで、人間は汎用的な人工知能の探求をさらに一歩進めることができるようになるかもしれません。しかし、大規模モデルの計算コストも非常に高く、学界や産業界が大規模モデルの可能性について詳細な研究を行うことを大いに妨げています。

この問題に対処するため、DAMO アカデミーと Alibaba Cloud のチームは MOE (Mixture-of-Experts) フレームワークを改良し、エキスパート並列戦略を創造的に使用して、単一モデルの収容力を大幅に拡大しました。同時に、DAMO アカデミー チームは、線形代数、混合精度トレーニング、半精度通信などの最適化テクノロジーを加速することで、兆モデルのトレーニング速度を大幅に向上させ、必要なコンピューティング リソースを効果的に削減しながら、ほぼロスレスの結果を達成しました。

Nvidia が 3072 個の A100 GPU を使用して 1 兆個のパラメータを実現し、Google が 2048 個の TPU を使用して 1.6 兆個のパラメータの大規模モデルを実現したのに比べ、DAMO Academy は今回、480 個の V100 32G GPU のみを使用して 1 兆個のモデル M6 を実現し、コンピューティング パワー リソースを 80% 以上節約し、トレーニング効率を 11 倍近く向上させました。

同時に、DAMOアカデミーが発表したM6巨大模型は、中国で初めて商品化されたマルチモーダル大型模型となった。 M6 は従来の AI を超える認知能力と創造力を備えています。絵を描くこと、書くこと、質疑応答が得意です。電子商取引、製造、文学、芸術など、多くの分野で幅広い応用が期待されています。

M6は一定期間の試験期間を経て、アリババの新しい製造プラットフォーム「Rhino Intelligent Manufacturing」のAIアシスタントデザイナーとして正式に活躍する予定だ。ファッショントレンドを迅速にデザインし、フィッティング効果のシミュレーションを行うことで、新しいファストファッション衣料のデザインサイクルを大幅に短縮することが期待されます。 M6はAlipayやTaobaoなどのプラットフォームにも適用され、クロスモーダル検索、コピーライティング、イメージデザインなどのタスクに参加しています。

DAMOアカデミーの上級アルゴリズム専門家であるヤン・ホンシア氏は、「今後、M6チームは低炭素AIの完成に努め、さらなる応用を推進し、一般的な大規模モデルに関する理論研究を探求していく」と述べた。

今年初め以来、アリババは超大規模事前トレーニングモデルの分野で多くの成果を達成してきました。アリババDAMOアカデミーは、マルチモーダル巨大モデルM6のリリースに加え、最近、中国語コミュニティをリードする言語巨大モデルPLUGをリリースし、AI巨大モデルの基礎技術とアプリケーションの詳細なレイアウトを実現しました。