Amazon Web Services と Hugging Face が連携して生成 AI を利用しやすくする

Amazon Web Services は、生成型 AI アプリケーションの作成を容易にするために、大規模な言語および視覚モデルのトレーニング、微調整、展開を加速するために、Hugging Face とのさらなるコラボレーションを発表しました。生成 AI アプリケーションは、テキストの要約、質問への回答、コードの生成、画像の作成、論文や記事の作成など、さまざまなタスクを実行できます。

Amazon Web Services には、生成 AI におけるイノベーションの豊かな歴史があります。たとえば、Amazon は AI を活用して Amazon Alexa ユーザー向けの会話型エクスペリエンスを強化しており、1 週間あたり数十億件のユーザー インタラクションを実現しています。また、生成 AI を活用して「 Create with Alexa 」機能などの新しいエクスペリエンスを強化することも増えています。さらに、Amazon Search のサブグループとして、M5 は Amazon 全体のチームがアプリケーションにビッグモデルを適用し、ビッグモデルをトレーニングしてAmazon.com ウェブサイトでの検索結果を改善できるよう支援します。 Amazon Web Services は、インフラストラクチャ、 Amazon SageMaker関連ツール、プログラマーが使用する IDE に組み込まれ、注釈を通じて推奨コードを生成して開発者の生産性を向上させるAmazon CodeWhispererなどのすぐに使用できる AI サービスなど、機械学習 (ML) のあらゆる分野で革新を続けています。マシンビジョンや大規模言語モデルのトレーニングと推論を加速するために、Amazon Web Servicesは独自のトレーニングチップであるAmazon Trainiumと推論チップであるAmazon Inferentiaもリリースしました。

Hugging Face が優先クラウドプロバイダーとしてアマゾン ウェブ サービスを選択したのは、Amazon SageMaker、 Amazon Trainium 、 Amazon Inferentiaなど、Hugging Face のモデルトレーニング、微調整、およびデプロイメントのニーズを満たす、柔軟でオプションの世界トップクラスのパフォーマンスツールを提供しているためです。これにより、Hugging Face を使用する開発者は、パフォーマンスを簡単に最適化し、コストを削減して、生成 AI アプリケーションをより迅速に実稼働環境に導入できるようになります。

「AIの未来はすでにここにあるが、誰もが平等にアクセスできるわけではない」とハギング・フェイスのCEO、クレメント・デラング氏は語る。 「アクセシビリティと透明性は、これらの新機能をスマートかつ責任ある方法で使用し、結果を共有し、新しいツールを作成するための鍵です。Amazon SageMaker と AWS カスタムシリコンは、私たちのチームとより大規模な機械学習コミュニティが最新の研究を誰でも構築できる公開再現可能なモデルに変換するのに役立ちます。」

高性能かつコスト効率の高い生成AI

大規模な言語およびビジョン モデルの構築、トレーニング、展開は、機械学習に関する深い専門知識を必要とする、費用と時間のかかるプロセスです。これら 2 つのカテゴリのモデルはどちらも非常に複雑で、数千億のパラメータが含まれる可能性があり、多くの開発者にとって生成 AI がほとんど利用できないものとなっています。

このギャップを埋めるために、Hugging Face は Amazon Web Services と提携し、開発者が Amazon Web Services にアクセスして Hugging Face モデル、特に生成 AI モデルをより簡単に適用および展開できるようにしました。これの利点は、低レイテンシで高スループットの推論タスクをより速くトレーニングおよび拡張できることです。たとえば、 Amazon Trainiumを搭載した Amazon Elastic Compute Cloud (Amazon EC2) Trn1 インスタンスでは、トレーニング時間が短縮され、GPU ベースのインスタンスに比べてトレーニング コストを最大 50% 節約できます。最新世代のAmazon Inferentiaチップを搭載した Amazon EC2 Inf2 インスタンスは、最新世代の大規模言語およびビジョン モデルをデプロイするように設計されています。 Inf1 インスタンスと比較すると、Inf2 インスタンスではスループットが 4 倍向上し、レイテンシが 10 倍減少します。 Amazon SageMaker は ML 用のツールとワークフローを提供しており、開発者は Amazon SageMaker などのマネージドサービスを通じて Amazon Trainium と Amazon Inferentia を使用したり、Amazon EC2 で自分で管理したりできます。

「生成AIは業界全体を変革する大きな可能性を秘めているが、コストと必要とされる専門知識のせいで、この技術は一握りの企業を除いて手の届かないものとなっている」とアマゾン ウェブ サービスのCEO、アダム セリプスキー氏は述べた。 「Hugging Face と Amazon Web Services により、人気の機械学習モデルへのアクセスがこれまで以上に簡単になり、最高のパフォーマンスと最低のコストで独自の生成 AI アプリケーションを作成できます。このコラボレーションは、生成 AI 企業と Amazon Web Services が協力して革新的なテクノロジーをより多くの顧客に提供できることを示す素晴らしい例です。」

今すぐ始めましょう

お客様は、SageMaker JumpStart 、 Hugging Face Amazon Web Services Deep Learning Container (DLC)を使用するか、チュートリアルに従って既存のモデルを Amazon Trainium または Amazon Inferentia にデプロイするなど、3 つの方法で Amazon Web Services プラットフォーム上で Hugging Face モデルを呼び出すことができます。 Hugging Face DLC には、最適化されたトランスフォーマー、データセット、タグ付けライブラリが含まれており、ユーザーはコードの変更を最小限に抑えながら、大規模な生成 AI アプリケーションの微調整と展開にかかる時間を数週間から数時間に短縮できます。 SageMaker JumpStart と Hugging Face DLC は、Amazon SageMaker が利用可能なすべてのリージョンで追加料金なしでご利用いただけます。詳細については、ドキュメントを読んだり、ディスカッションフォーラムに参加したり、サンプルノートブックを今すぐ使用したりしてください。