Cloudera: 2024 年の生成 AI とクラウドに関する 5 つの予測

わずか 12 か月前、「ジェネレーティブ デザイン人工知能」は、ガートナーの新興テクノロジーのハイプ サイクルの端にありました。現在、ガートナーは、「生成型人工知能」（Generative AI）が過大な期待のピークに近づいていると考えています。

生成 AI の利点は魅力的であり、広範囲にわたります。アナリストたちは、これがあらゆる主要産業と仕事に影響を及ぼすだろうと考えている。 2023年のマッキンゼーのレポートでは、生成AIなどの現在のテクノロジーは、現在従業員の時間の60％から70％を占めている業務活動を自動化する可能性があると指摘されています。 IDC の調査では、アジア太平洋地域の企業の 3 分の 2 が今年、生成 AI を検討または投資していることも明らかになりました。

2024 年が近づくにつれ、企業は生成 AI の運用化と改善に向けた取り組みを強化し、環境、特にクラウド環境全体で増大するデータの管理方法を調整して俊敏性を高め、ビジネスの成長を促進することが予想されます。

2024 年の生成 AI とクラウドに関する 5 つの予測をご紹介します。

トレンド1: 強力なMLOPSとデータ統合により、生成AIの運用が可能に

2022 年 11 月に ChatGPT v3.5 がリリースされて以来、企業は、その利点を最大限に活用しながら、ChatGPT を有用なものにするために十分なコンテキスト データを安全に提供するにはどうすればよいかというジレンマに直面しています。

ChatGPT やその他の SaaS (Software-as-a-Service) ベースの大規模言語モデル (LLM) は、企業にとって重大なデータ プライバシーの課題をもたらします。多くの場合、質問、回答、コンテキスト データは機密データであるため、このデータを再利用してモデルを再トレーニングするパブリック マルチテナント サービスには適していません。

Meta の Llama-v2 など、急速に進化するオープンソース LLM は ChatGPT に匹敵するパフォーマンスを備えており、実行可能な代替手段になりつつあります。しかし、生成 AI モデルをスケーラブルかつ信頼性の高い方法で研究室から本番環境に移行するのは困難です。さらに、これらのモデルは通常、複数のアプリケーション間で共有する必要があるため、従来の機械学習 (ML) モデルよりもデータ統合の課題が大きくなります。

2024 年、企業は強力な機械学習運用 (MLOPS) とデータ統合機能の開発に引き続き注力すると予想されます。

トレンド2: 企業は検索強化生成（RAG）と微調整機能を強化してLLMを最適化する

LLM パフォーマンスを最適化する方法には、ヒント エンジニアリング、検索拡張生成 (RAG)、微調整などがあります。

RAG はナレッジベースのコンテンツを使用してヒントを充実させ、必要なコンテキストを提供します。 RAG アーキテクチャの主要コンポーネントの 1 つは、特別な方法でインデックスが付けられたナレッジ ベース コンテンツ データベースです。

ユーザーの質問はまず数式に変換され、その後データベースで最も近いコンテンツを検索するために使用されます。ユーザーの質問は、推論のためにプロンプ​​トの一部として LLM に送信されます。質問とドメインのコンテキストの両方を同時に提供することで、推論結果が大幅に改善されます。

RAG は、LLM のトレーニングや調整を必要とせず、高品質の結果を生成するため、LLM を導入する効果的な方法であることが証明されています。ただし、知識ベースを維持するためのデータ エンジニアリング パイプラインと、インデックス付きデータを格納するための特殊なベクトル データベースが必要になります。

2024 年になっても、RAG は多くの企業が生成 AI を導入するための実行可能な道筋であり続けると信じています。

パフォーマンス効率的なファインチューニング (PEFT) は、2023 年に注目されています。効率的なファインチューニングでは、ドメイン固有のデータで小さなニューラル ネットワークをトレーニングし、汎用 LLM と共存します。これにより、非常に低コストで、非常に少ないトレーニング データで、大規模な LLM を繰り返しトレーニングすることによって得られるパフォーマンス上の利点のほとんどを実現できます。 LLM を微調整するには、より強力な ML 機能が必要ですが、特にトレーニング データが限られている場合は、効率性、解釈可能性、および結果の精度が向上します。

2024 年には、効率的な微調整などの微調整手法が、より多くの企業で新しいプロジェクトに使用され、初期の RAG アーキテクチャに取って代わると予想されます。このアプローチは、より大規模で強力なデータ サイエンス チームを持つ企業で最も広く使用されます。

トレンド3: 企業は「クラウドファースト」から慎重なクラウド戦略へと移行する

2024 年も、クラウド コンピューティングは企業のデータ戦略において重要な変革テクノロジーであり続けるでしょう。

一部の企業は、2023 年にクラウド戦略を「クラウド ファースト」のアプローチから慎重でバランスの取れた戦略に調整しており、これはほとんどの大企業が採用している保守的なアプローチと一致しています。この変化を推進する要因としては、多くの予測可能な分析ワークロードに対するクラウドの経済性、データ管理規制、経済状況の不確実性を考慮した企業の財政政策などが挙げられます。

これらの企業は、データとクラウド戦略をサポートするためにパブリック クラウドとプライベート クラウド全体でクラウド ネイティブ アーキテクチャを選択しており、クラウド ネイティブによってもたらされる柔軟性、拡張性、コスト削減により、アーキテクチャの複雑さの増大が相殺されています。

結果として得られるパブリック クラウドとプライベート クラウドにわたるデータ ファブリック アーキテクチャは、データ管理に対するインテリジェントで自動化されたポリシー主導のアプローチの基盤を提供します。

トレンド4: データ管理の自動化、データの民主化、ゼロトラストセキュリティは引き続き最優先事項となる

データは依然として指数関数的に生成および取得されているため、企業はデータ プラットフォーム管理における自動化とインテリジェンスのレベルを向上させる必要があります。したがって、インフラストラクチャ、プラットフォーム、ワークロード全体の可観測性は、2024 年にはさらに重要な役割を果たすことになります。

これは、高性能、高信頼性、高効率のインテリジェント プラットフォーム自動化を実現するための前提条件です。 ML モデルのトレーニングに使用される運用データは、インテリジェント データ プラットフォームの中核になります。データ実践者は、データのさらなる民主化とセルフサービス オプションの追加を推進し続けるでしょう。これは、データ メッシュパラダイムの最も重要な原則の 1 つと一致しています。

最も革新的な企業は、データ サイエンティスト、データ エンジニア、ビジネス アナリストがデータ ゲートキーパーを経由することなく、データからより多くの洞察を得られるよう支援します。 2024 年には、企業とテクノロジー プロバイダーは、データ ライフサイクルのあらゆる段階から摩擦を取り除き、リアルタイム データへのアクセスを増やすことに重点を置くことになります。

さまざまなハイブリッド クラウド ネイティブ アーキテクチャの出現、サードパーティの SaaS およびサービスとしてのプラットフォーム (PaaS) の採用、サイバーセキュリティの強化により、データ セキュリティ、ゼロ トラスト、データ管理責任の明確な分担への注目が高まり続けています。

ゼロ トラストでは、データを使用するユーザーとシステムの継続的な認証と承認が必要です。これらのプリンシパルには、厳格な監査の対象となりながら、特定のタスクを実行するために必要な最小限の権限が付与されるようになります。これは、データへのアクセスを民主化するという高まる需要に応えながら、データ ガバナンスと管理におけるイノベーションを推進するための重要な機能になります。

データ フェデレーションが普及するにつれ、2024 年にはテクノロジーによって企業内および企業間のゼロ トラストの実装がさらに簡素化されると予想されます。

トレンド5: オープンデータレイクへの移行が迫っている

データ レイク ウェアハウスの実装では 2022 年に大きな革新が見られ、業界をリードするデータ管理プロバイダーが Apache Iceberg を「公式フォーマット」として確立しました。 Iceberg がオープン テクノロジーの選択肢の 1 つとして急速に採用されれば、一部のデータ管理プロバイダーがオープン ソース戦略を変更し、自社製品に Iceberg のサポートを追加することはほぼ確実です。

2024 年までに、データとワークロードは、パブリック クラウドとプライベート クラウド全体のオープン データ レイク ウェアハウス アーキテクチャに着実に移行すると予想されます。

***

Clouderaについて

Cloudera では、データには今日不可能なことを明日可能にする力があると信じています。 Cloudera は、さまざまな場所に配置されたデータを信頼できるエンタープライズ人工知能に変換し、コストとリスクを削減し、生産性を向上させ、ビジネス開発を加速します。データがパブリック クラウド環境またはプライベート クラウド環境のどちらに存在するかに関係なく、当社のオープン レイク ウェアハウス統合ソリューションは、データ管理が安全に実行され、クラウド ネイティブ データ分析が効果的に移行されることを保証し、企業がさまざまな種類のデータを管理および分析できるように支援します。

Cloudera は、大手クラウド サービス プロバイダーと同様の膨大な量のデータを管理することで、世界中の大手企業から選ばれるデータ パートナーの 1 つになりました。 Cloudera は、データの価値を継続的に発見し、データの将来を絶えず探求することで、常に業界の変化を推進してきました。同時に、Cloudera はオープンソース コミュニティの継続的なイノベーションを活用し、活気あるエコシステムの構築に引き続き貢献していきます。