クラウドコンピューティングを再構築！ Baidu Smart Cloudが20以上のフルスタック製品を一挙にリリース

12月20日、2023年百度クラウドインテリジェンスカンファレンスおよびインテリジェントコンピューティングカンファレンスが北京で開催されました。 「ビッグモデルによるクラウドコンピューティングの再構築、AIのためのクラウド」をテーマにしたこのカンファレンスでは、ビッグモデルがもたらすクラウドコンピューティングの変化に深く焦点を当てました。

百度スマートクラウドは、大規模モデル実装のニーズを満たすために、「クラウド・インテリジェンス統合」戦略に基づいてクラウドコンピューティングサービスを再構築していると述べた。現在、基盤インフラから大規模モデルの開発と応用、AIネイティブアプリケーションの開発まで、エンドツーエンドのアップグレードと再構築を完了しており、Baigeなど20以上のクラウドコンピューティングインフラストラクチャを全面的にアップグレードし、Qianfan大規模モデルプラットフォームをアップグレードし、AIネイティブアプリケーション開発ワークベンチ「Qianfan AppBuilder」を全面的にオープンしました。

インテリジェントコンピューティングカンファレンスでは、Baidu Smart Cloud も最新の「レポートカード」を発表しました。文心ビッグモデルが8月31日に社会全体に全面公開されて以来、千帆ビッグモデルプラットフォーム上のビッグモデルAPIの毎日の呼び出し量は10倍に増加しました。現在、Qianfan プラットフォームは 40,000 社を超える企業ユーザーにサービスを提供しており、約 10,000 の大規模モデルの微調整に役立っています。自社構築のシステムで大規模なモデルをトレーニングする場合と比較して、Qianfan プラットフォームを使用したトレーニングのコストは最大 90% 削減できます。

ビッグモデルがクラウドコンピューティングを変革

「AIネイティブ時代が到来し、ビッグモデルがクラウドコンピューティング業界の革新と変化を推進しています。」百度グループの副社長である侯振宇氏は、「ビッグモデルは3つの側面からクラウドコンピューティングを再構築する。AIネイティブクラウドはクラウドコンピューティングの状況を変え、モデル・アズ・ア・サービス（MaaS）は新たな基本サービスとなり、AIネイティブアプリケーションは新たな研究開発パラダイムを生み出すだろう」と述べた。

まず、クラウド インフラストラクチャ層では、モバイル インターネット時代のアプリケーションは主に最下層の CPU コンピューティング能力に依存していますが、AI アプリケーションに対する GPU または異種コンピューティングの需要が大幅に増加しています。クラウド市場における基本的なコンピューティング能力の需要は、徐々に GPU ベースに移行します。

第二に、モデル層では、ビッグモデルが一般的なサービス機能、つまりMaaSになりつつあります。 MaaS は、AI 実装のハードルを大幅に下げ、真の AI の導入を実現します。

最後に、アプリケーション層では、アプリケーション開発のパラダイムが完全に覆されました。大規模モデルの理解、生成、論理化、記憶という独自の能力により、ネイティブ アプリケーション開発の新しいパラダイムが生まれます。アプリケーション テクノロジー スタック、データ フロー、ビジネス フロー全体が変更されます。

▲百度グループ副社長、侯振宇氏

侯振宇氏は、一般的に、繁栄するAネイティブアプリケーションエコシステムを構築するには、ビッグモデル、インテリジェントコンピューティングパワー、そしてAIネイティブアプリケーションの研究開発のための新しいパラダイムという3つの相補的な要素が必要であると述べた。ビッグモデルは AI ネイティブ アプリケーションの「頭脳」であり、インテリジェント コンピューティングは AI ネイティブ アプリケーションの動作を強力にサポートします。新しい R&D パラダイムは、開発者がビッグモデルの機能に基づいてアプリケーションを効率的に開発するのに役立ちます。データ フライホイールは、AI ネイティブ アプリケーションを成功させるための必要かつ十分な条件であり、大規模なモデル機能を高速で反復処理し、製品エクスペリエンスを継続的に向上させることができます。

クラウドコンピューティングの全面アップグレード：5つの主要分野で20以上のフルスタック製品をリリース

AIネイティブ時代においては、大規模モデル向けのクラウドコンピューティング基盤システムが全面的に再構築されます。侯振宇氏は、百度スマートクラウドは、モデル指向のインテリジェントコンピューティングインフラストラクチャ、データ指向のデータインフラストラクチャ、アプリケーション指向のクラウドインフラストラクチャという3つの主要な側面でクラウドコンピューティングサービスを再構築し、AIネイティブアプリケーションの実装をサポートすると述べた。

会議では、百度スマートクラウドが、インテリジェントコンピューティング、一般コンピューティング、データベースとビッグデータ、分散クラウド、アプリケーション開発プラットフォームの5つの主要分野をカバーする20を超えるクラウドコンピューティング製品を集中的にリリースおよびアップグレードしました。

インテリジェントコンピューティングの分野では、コンピューティング能力は大規模モデルの実装の基本条件です。現在、大規模モデルのトレーニング、推論、展開には、高速相互接続、コンピューティング効率、コンピューティング電力コストに対する高い要件があり、新しいタイプのインテリジェント コンピューティング インフラストラクチャの作成が必要です。しかし、現在のコンピューティング クラスターは依然として多くの課題に直面しています。大規模なモデルはトレーニングに時間がかかり、エラーが発生しやすく、安定性が低くなります。コンピューティング クラスターの規模が大きく、システムが複雑になると、運用と保守の難易度も高まります。

新しくリリースされた Baidu Baige AI Heterogeneous Computing Platform 3.0 は、AI ネイティブ アプリケーションと大規模モデルのトレーニングおよび推論向けに特別に最適化されています。 Baige 3.0 は、安定性、効率性、操作とメンテナンスの容易さの面で製品機能を大幅にアップグレードし、10,000 枚のカードレベルのタスクで 98% を超える有効トレーニング時間と最大 95% の帯域幅有効性を達成しました。自社構築のインテリジェント コンピューティング インフラストラクチャと比較すると、モデル トレーニングとプッシュ スループットはそれぞれ最大 30% と 60% 増加します。

▲百度百歌3.0がリリース

AIネイティブ時代のインテリジェントコンピューティングパワーの供給バランス問題に対応するため、Baidu Smart Cloudはインテリジェントコンピューティングネットワークプラットフォームを立ち上げました。コンピューティング パワー リソース レベルでは、インテリジェント コンピューティング ネットワーク プラットフォームは、Baidu およびサードパーティによって構築されたインテリジェント コンピューティング センター、スーパー コンピューティング センター、エッジ ノードなどのインテリジェント コンピューティング ノードへの全領域アクセスをサポートし、分散型および異種コンピューティング パワー リソースを接続して、統合されたコンピューティング パワー ネットワーク リソース プールを形成します。 Baidu が独自に開発したコンピューティング パワー スケジューリング アルゴリズムにより、さまざまなコンピューティング パワー リソースの状態、パフォーマンス、利用率などの指標をインテリジェントに分析し、コンピューティング パワーを均一にスケジューリングすることで、必要なユーザーにインテリジェント コンピューティング リソースを柔軟かつ安定的に効率的に提供し、インテリジェント コンピューティング リソースの「南から北への水路転換」を実現します。

一般的なコンピューティングの分野では、コンピューティング、ストレージ、ネットワークなどのクラウドネイティブインフラストラクチャも、AIネイティブ時代に合わせて再構築およびアップグレードし、より柔軟で高性能、インテリジェントな運用および保守機能を提供する必要があります。

このカンファレンスで、百度泰行コンピューティングは、3つの新しいコンピューティングインスタンスを追加しました。新しくリリースされた第7世代（一般コンピューティング）クラウドサーバーインスタンスG7は、前世代に比べて全体的なパフォーマンスが10％向上しています。 Baidu が独自に開発した Kunlun Core R300 アクセラレーション プロセッサを搭載した Kunlun Core エラスティック ベアメタル インスタンス NKL5 のリリース。これにより、大規模モデル推論シナリオにおいて、業界の主流のアクセラレーション カードの全体的なパフォーマンスが最大 50% 向上します。 Ascend 910B アクセラレーション プロセッサをベースにした、弾力性のある高性能コンピューティング インスタンス NH6T のリリース。大規模なモデルトレーニング シナリオでは、業界の主流のアクセラレーション カードに比べて全体的なパフォーマンスが最大 40% 向上します。

同時に、高性能コンピューティング プラットフォーム CHPC (Cloud HPC) が正式にリリースされ、ユーザーにワンストップのパブリック クラウド HPC サービスを提供します。リソース利用レベルでは、CHPC はユーザーがワンクリックで高性能コンピューティング環境を構築し、ビジネスの変化に応じてクラウド リソースを柔軟に利用できるようにサポートします。ビジネス アプリケーション レベルでは、CHPC は医薬品開発や遺伝子配列解析などの業界の統合アプリケーションをサポートします。さらに、VPC に統合された Baidu Netdisk などのサービスを組み合わせることで、ユーザーは、提出、アップロード、処理、結果の返却、配布に至るまで、HPC ソース ファイルのデータ チェーン全体を簡単に公開でき、研究開発の効率向上に役立ちます。

分散型クラウドの面では、Baidu Smart Cloudは、エッジコンピューティングノードBECの製品機能のアップグレード、グローバルに統一されたエッジコンピューティングネットワークと製品エクスペリエンスの創出、AIネイティブアプリケーションの時代における最も完全な「クラウドエッジ統合」の創出という3つの主要なアップグレードをもたらします。独自のクラウド ABC Stack の新しい機能がリリースされ、Baidu Smart Cloud Qianfan 大規模モデル プラットフォームのローカル展開をサポートします。ローカル コンピューティング クラスター LCC の新しい機能がリリースされ、新世代の CPU/GPU インスタンスと完全な Baidu Smart Cloud AI&HPC クラスター管理機能がサポートされ、インフラストラクチャとクラウド製品のサポート機能マトリックスがさらに充実し、改善されました。

大規模モデルの実装には、コンピューティング能力のサポートだけでなく、さまざまな種類のデータと膨大な量の知識の保存、管理、分析も必要です。 Baidu Smart Cloudは、クラウドストレージ、クラウドネイティブデータベース、ビッグデータプラットフォームなどのデータインフラストラクチャ分野で一連の主要な新製品をリリースしました。

さまざまなストレージ製品をサポートし、AIネイティブ時代の大規模、高性能、低コストのストレージ要件を満たすことができる統合テクノロジーベースであるBaidu Canghai Storageが正式にリリースされました。オブジェクトストレージ BOS、クラウドディスク CDS、並列ファイルストレージ PFS などの新しくアップグレードされた製品は、データレイクストレージと AI ストレージ機能を包括的に強化し、インテリジェントコンピューティングを加速し、データ価値を解放します。

クラウドネイティブ データベース GaiaDB 4.0 が正式にリリースされました。並列クエリ機能が強化され、単一マシン コンピューティングのボトルネックを打破し、マシン間マルチコア並列クエリを実現し、混合負荷およびリアルタイム分析のビジネス シナリオでパフォーマンスが 10 倍以上向上しました。さまざまな規模のデータのクエリ速度を向上させるために、さまざまなワークロード向けに列ストレージ インデックスと列ストレージ エンジンが起動されます。列ストレージ エンジンは PB レベルのデータの複雑な分析をサポートでき、トランザクション処理業務から厳密に分離されています。コンセンサス プロトコルの最適化、リンクの最適化、複数バージョンの適応型動的再生ストレージ、その他の列データ ストリームの徹底的な最適化により、GaiaDB の全体的なパフォーマンスが 60% 以上大幅に向上しました。

カンファレンス中、杭州吉利易雲科技有限公司の程品耀ゼネラルマネージャーは、吉利グループと百度スマートクラウドがどのように協力してグループ固有のクラウドを構築し、デジタルインフラ基盤を構築しているかを共有した。現在、Geelyグループは、車両のインターネットと製造事業をクラウドに移行し、この効率的で安定したインフラストラクチャプラットフォームに基づいてエンタープライズレベルのAIビッグモデル機能を構築し、グループのビジネスのあらゆる側面を強化しています。

▲ 杭州吉利易雲科技有限公司ゼネラルマネージャー、平成瑶氏

モデル・アズ・ア・サービス（MaaS）：Qianfan Big Model Platform のアップグレード

AIネイティブ時代においては、ビッグモデルはModel as a Service（MaaS）プラットフォームを通じて新たな汎用サービス機能として幅広いユーザーに提供されるようになります。 Baidu Smart Cloud Qianfan Big Model Platform（以下、「Qianfan Platform」）は、業界をリードするMaaSサービスプラットフォームです。中国国内最多の百度文心ビッグモデルをはじめ、主流の基本ビッグモデルと業界ビッグモデル54種をプリインストールしています。また、大規模モデルの継続的な事前トレーニング、微調整、評価、圧縮、展開のための最も完全で使いやすいツール チェーンも提供し、顧客が独自のビジネス シナリオに合わせて専用の大規模モデルを迅速にカスタマイズできるようにします。自社構築のシステムで大規模なモデルをトレーニングする場合と比較して、Qianfan プラットフォームを使用したトレーニングのコストは最大 90% 削減できます。

▲百度スマートクラウド千帆大型モデルプラットフォーム

現在、Qianfan プラットフォームは 40,000 社以上の企業ユーザーにサービスを提供しており、約 10,000 の大規模モデルを微調整しています。このインテリジェント コンピューティング カンファレンスで、Qianfan Platform は、ビッグ モデルの適用に関して最も懸念される顧客の 2 つの中核的な要求、「効率の向上」と「コストの削減」に対応する一連の新機能をリリースしました。

データ面では、Qianfan プラットフォームは、データの収集、クリーニング、自動ラベル付け、自動強化、推論データの多次元評価などを含む完全かつ効率的な大規模モデルデータ管理ツール チェーンを提供し、ユーザーが独自のビジネス「データ フライホイール」を迅速に構築し、フィードバック主導の成長を実現できるように支援します。データ統計分析やデータ品質チェックなどの新しくリリースされた機能は、ユーザーが包括的なデータの洞察を得ることをサポートします。データクリーニングと視覚化パイプラインを組み合わせることで、大規模モデルシナリオ用の高品質なデータ燃料を構築し、大規模モデルのトレーニングを「エスコート」することが可能になります。これにより、Qianfan は大規模モデルの多面的なデータ分析をサポートする中国初の MaaS サービス プラットフォームとなりました。

モデル展開前の「ラストマイル」として、モデル評価では、大規模モデルの出力効果、コンピューティングパフォーマンスなどを総合的に評価し、大規模モデルの起動後にAIネイティブアプリケーションの効果が安定して信頼できることを保証します。 Qianfan プラットフォームは、自動化と手動作業を組み合わせた二重評価メカニズムを革新的に導入し、双方の利点を最大限に発揮し、モデル評価の効率と品質を大幅に向上させます。一方、Baidu Wenxin Big ModelはAI審判として、評価されたモデルの回答を自動的に採点し、膨大な反復的な手作業を大幅に削減します。一方、データラベラー/ビジネス専門家にビッグモデルの回答を採点してもらうことで、ビッグモデルの回答の品質をより正確に測定できるようになります。

さらに、トークン（柔軟性要件が高い企業に適しています）、TPM（1分あたりのトークン、同時ボリュームが大きい企業に適しています）、バッチコンピューティング（オフラインコンテンツ制作や、リアルタイム要件が低くスループットが高いその他のタスクに適しています）、コンピューティングパワーユニット（専用のハードウェア展開モデルを必要とする顧客に適しています）など、Qianfanプラットフォームの柔軟な価格設定方法により、さまざまなビジネスシナリオで顧客のニーズを簡単に満たすことができ、企業が低コストで大規模なモデルを使用できるようになります。

AIネイティブアプリケーション開発を強化：Qianfan AppBuilderが正式にサービスを開始

企業のAIネイティブアプリケーションの俊敏かつ効率的な開発のニーズに応え、AIネイティブアプリケーション開発のハードルを下げるため、Baidu Smart Cloud Qianfan AppBuilderが正式にサービスを開始しました。

AppBuilder は、大規模なモデルを使用して AI ネイティブ アプリケーションを開発するための一般的なパターン、ツール、プロセスをワークベンチに統合し、開発者が開発プロセスに余分な労力を費やすことなくビジネス自体に集中できるようにします。具体的には、AppBuilder は主にコンポーネントとフレームワークという 2 つのサービス層で構成されています。

「コンポーネント」サービスは、マルチモーダル AI 機能コンポーネント (テキスト認識、テキストベースのグラフィックスなど)、大規模言語モデルに基づく機能コンポーネント (長文要約、nl2sql など)、基本コンポーネント (ベクター データベース、オブジェクト ストレージなど) の 3 つの部分で構成されます。これは、基盤となるサービス機能をコンポーネント化してカプセル化したものであり、各コンポーネントが特定の機能を実行できるようになります。

「フレームワーク」は、上記のコンポーネントを選択的に接続および組み合わせて、特定のシナリオのタスクをより完全に完了できるようにします。現在、AppBuilder が提供する検索拡張生成 (RAG)、エージェント (Agent)、スマート データ分析 (GBI) が、一般的に使用されている AI ネイティブ アプリケーション フレームワークです。

AppBuilder は、コード形式とローコード形式の 2 つの製品形式を提供します。 AI ネイティブ アプリケーション開発のニーズが深いユーザー向けに、AppBuilder Code State は、SDK、開発環境、デバッグ ツール、アプリケーション サンプル コードなど、さまざまな開発キットとアプリケーション コンポーネントを提供します。 AppBuilder Low Code State は視覚的なツールを提供するため、ユーザーは簡単なクリック操作で AI ネイティブ アプリケーションをすばやくカスタマイズして起動できます。

▲ 百度スマートクラウド 千帆AppBuilder

Baidu の創設者であり会長兼 CEO である Robin Li 氏は、AI ネイティブ アプリケーション エコシステムの繁栄が経済成長を促進すると考えています。今年10月、百度スマートクラウドは国内初の大型フルリンクエコシステムサポートシステムを立ち上げ、パートナーにエンパワーメントトレーニング、AIネイティブアプリケーションのインキュベーション、販売機会、マーケティングなどを含む全面的なサポートを提供し、AIネイティブアプリケーションエコシステムの繁栄に取り組んでいます。

Hou Zhenyu 氏は、2024 年が AI ネイティブ アプリケーション元年となり、AI ネイティブ アプリケーションの爆発的な成長をもたらすと予測しています。 Baidu Smart Cloud は、競争力のある製品ソリューションを継続的にリリースし、パートナーと協力して顧客のアプリケーション シナリオを深く探求し、より多くの AI ネイティブ アプリケーション イノベーションを生み出していきます。