アリババDAMOアカデミーが中国コミュニティ向けに最大の事前学習済み言語モデルPLUGをリリースし、CLUEカテゴリーリストで新記録を樹立

4月19日、アリババDAMOアカデミーは、中国コミュニティ向け最大規模の事前トレーニング済み言語モデルであるPLUG（言語理解と生成のための事前トレーニング）をリリースしました。このモデルはパラメータスケールが 270 億で、言語理解と生成機能を兼ね備えています。小説の執筆、詩の生成、インテリジェントな質疑応答などの長いテキスト生成分野で優れたパフォーマンスを発揮します。その目標は、超大規模モデルの機能を通じてさまざまな中国語 NLP タスクのパフォーマンスを大幅に向上させ、人間のパフォーマンスを超えるパフォーマンスを実現することです。 PLUG は発売後、中国語理解力評価ベンチマークの CLUE 分類リストで新記録を樹立しました。

OpenAIが昨年、超大規模事前学習済み言語モデルGPT-3をリリースし、世界的な議論を巻き起こして以来、中国分野における同様のモデルの学習進捗は大きな注目を集めている。 GPT-3と同様に、アリババ・ダモ・アカデミーがリリースしたPLUGは、テキスト生成の分野で広く使用され、「ユニバーサルライティングツール」になることが期待されています。さらに重要なのは、このような超大規模モデルは汎用性が極めて高く、AI時代の新たなインフラの一つになると考えられていることです。

GPT-3 に対する改善点は、PLUG が DAMO アカデミーによって開発された言語理解と言語生成のデュアル モデルを統合する簡潔なモデル フレームワークを設計し、入力テキストの双方向理解機能を構築することで出力テキストの関連性を大幅に向上させたことです。言語理解タスクでは、PLUG は 80.614 ポイントで CLUE 分類リストの記録を更新しました。言語生成タスクでは、PLUG の複数のアプリケーション データは、業界最高レベルと比較して 8% 以上向上しました。

（注：4月19日、PLUGはCLUEカテゴリーリストで「Human」に次ぐ第2位という新記録を樹立しました）

PLUG は、ニュース、小説、詩、質疑応答など、幅広い種類と分野をカバーする 1TB を超える高品質の中国語テキストトレーニングデータを使用していると理解されています。モデルのトレーニングには、Alibaba Cloud の EFLOPS 高性能 AI コンピューティング クラスターを活用しています。今後、PLUGはパラメータスケールを2000億に拡張し、テキスト生成の品質をさらに向上させます。超大規模事前学習モデルの分野では、中国発のPLUGのリリースに加え、アリババDAMOアカデミーとアリババクラウドコンピューティングプラットフォームチームは、アリババAI研究所、清華大学と共同で、認知向けの新たな超大規模事前学習モデル「Wenhui」をリリースしたほか、清華大学と共同で超大規模マルチモーダル事前学習モデル「M6」をリリースした。

DAMO Academyは、PLUGのリリースと並行して、近い将来にアリババの深層言語モデルシステムの重要なモデルのほとんどをオープンソース化すると発表した。アリババDAMOアカデミー言語技術研究所所長Si Luo氏は、「DAMOアカデミーのNLPチームは、自然言語処理の分野における科学的研究の課題にさらに取り組み、中国語と言語間の人工知能インフラを改善し、AIを理解可能にし、汎用人工知能への道を模索していきます」と語った。