K8s とビッグモデルは本当に一致するのでしょうか?

編纂者：ヤン・ジェン

制作 | 51CTO テクノロジースタック (WeChat ID: blog)

K8s とビッグモデルは本当に一致するのでしょうか?この記事は疑問を提起していますが、その答えはまだ検証されていません。

1. K8sは新たなユーザー層を歓迎する

機械学習の研究者が研究論文を読み、PyTorch 環境で Python ベースの GPU を使用してテストしたいとします。彼女はエンジニアリングチームに、2 つの GPU とすべてのライブラリを備えた Jupyter ノートブックへのアクセスを依頼しました。

エンジニアリングチームは彼女に「3日かかります」と言いました。 GPU を調達し、スタックを作成してから、JupyterHub へのアクセスを許可する必要があります。

「これはまさに10年前にDevOpsに起こったことだ」と独立系アナリストのJanakiram氏は3月のKubeCon + CloudNativeCon Europeでの会話の中で語った。

「そこで今、全体的な考え方は、これをどのように加速し、企業の IT 部門がインフラストラクチャを ML 研究者、エンジニア、開発者がすぐに利用できるレベルまで引き上げ、アイデアをすぐにコードに変換できるようにするかということです。」

新しいペルソナは、大規模言語モデル (LLM) がクラウドネイティブコミュニティに与える影響を反映し、アイデンティティと Kubernetes の役割に関する疑問を提起します。データサイエンティストは、モデルを本番環境に導入するために Kubernetes を必要とするのでしょうか?

独立系アナリストの Sanjeev Mohan 氏は、NVIDIA の推論マイクロサービス Nim は Kubernetes 向けに慎重に計画された Docker コンテナであると考えています。

課題は、Kubernetes がデータの状態と頻繁な変更によって、非常にデータ中心になるという事実にあります。 Kubernetes コミュニティにおいて、データがこれほど重要な役割を果たしたことはかつてありません。 Kubernetes コミュニティが、AI の構築、モデルの開発、統合、展開、管理という新たな要求にこのように適応する必要に迫られたことはこれまでありませんでした。

Kubernetes にデータモデルを展開する標準的な方法がなければ、将来の作業では、コミュニティが新しいハードウェア統合とプロジェクトを通じて新しい「データロール」に適応する必要があります。

2. AI によって K8s はどのように強化されるのでしょうか?

Kubernetes サービス LLM、LLM は K8s に対して何ができるでしょうか?

しかし、実際には、AI における Kubernetes の役割は何でしょうか?データの役割に関する質問により、これが最前線に浮上します。 Kubernetes はコントロールプレーンです。確かにその通りです。これは 2014 年から DevOps のアプリケーションアーキテクチャとなっています。

したがって、Mohan が提起した次の質問がより重要になります。K8s は AI に役立っているのか、それとも AI が K8s に役立っているのか?

KubeCon では、Kubernetes を AI のコントロールプレーンとしてどのように使用できるかについて多くのことを学びました。 NVIDIA の基調講演では、GPU の一部を割り当てるための動的リソース割り当てについて説明しました。これによりコストが節約されます。これは AI 向けの Kubernetes です。モハン氏は、これらの開発はすべて順調に進んでおり、Kubernetes が汎用 AI の制御プレーンとしてますます活用されるようになるだろうと述べた。

しかし一方で、LLM はどのようにして K8s をより強力にできるのでしょうか?モハンは非常に想像力豊かな質問をしました。

「まだそういったことはあまり見ていませんが、今後の KubeCon でさらに統合が進むかもしれません」と彼は語った。

OpenAI は明らかに Kubernetes の同盟者であり、同社は実験の開始と拡張に Kubernetes を使用しています。

写真

人気の人工知能研究ラボである OpenAI には、クラウドまたは独自のデータセンターで実験を実行でき、簡単に拡張できるディープラーニングインフラストラクチャが必要です。移植性、速度、コストが主な推進力です。

データサイエンティストやデータエンジニアがハードウェア GPU を最も効率的に使用するための構成方法を考えずに、Kubernetes をすべての AI ワークロードのデフォルトオプションにするにはどうすればよいでしょうか。 KubeConでオラクルの上級副社長であるSudha Raghavan氏はこう尋ねた。

Raghavan 氏はまた、KubeCon のパネルで、人々がワークロードごとに物事を行うことが容易になり、エンジニアがすぐに使えるテンプレートを構成し、これらがまだ出現していない AI ワークロードパターンであり、それらに対して事前定義されたテンプレートがあることを理解できるようになるというビジョンについても話しました。

したがって、実験を行いたいデータサイエンティストは、自分で学習する必要はなく、Cloud Native Computing Foundation がエコシステム内の AI および ML コミュニティに提供するものについて学習することができます。

インテルのオープンエコシステム担当副社長兼ゼネラルマネージャーであるアルン・グプタ氏は、パネルディスカッションの中で、そのギャップを埋めるのはクラウドネイティブコミュニティの責任であると述べた。「顧客に共感する必要がありますが、顧客はデータサイエンティストです。新しいクラウドネイティブ AI の論文では、これらの課題に対処しています」と彼は述べています。

クラウドネイティブAI

グプタ氏と同じパネルで講演したマイクロソフトの主席プロダクトマネージャー、ラクラン・エヴェンソン氏は、Kubernetes コミュニティにおける新しい役割には、データサイエンティストとインフラストラクチャエンジニアまたはプラットフォームエンジニアの間に位置する AI エンジニアも含まれると述べました。

エヴェンソン氏はパネルディスカッションの中で、AIエンジニアはAIの世界のすべての用語を理解する必要があるだけでなく、これらの分散システムを大規模に使用し、これらの新しいプラットフォームを構築する方法も理解する必要があると指摘しました。