UCloud AIオンラインサービスが低遅延シナリオに重点を置くGPUバージョンをリリース

序文

UCloud AIオンラインサービス「UAI-Inference」は、昨年5月の無料公開ベータ版と正式リリース以来、多くのスタートアップ企業や大手伝統企業がAI技術やコスト投資の敷居を下げ、人工知能のトレンドを掴む手助けをしてきました。 UAI-Inference は導入が簡単で、操作と保守も容易であり、複数の主流の AI フレームワークをサポートし、安全で信頼性があります。機械学習、ビデオ画像認識、自然言語処理など、さまざまな AI アプリケーション シナリオに適用できます。

人工知能技術が進化し、AI サブセクターが成熟するにつれて、クラウド サービス プロバイダーの AI 製品機能に対する要件が高まります。最近、UCloud AIオンラインサービスプラットフォームは、高性能AIオンライン推論サービスを提供するために専用のGPU推論ノードを立ち上げました。 GPU オンライン サービス ノードは、主に、ディープラーニング AI オンライン推論サービスに対する低レイテンシ要件を持つアプリケーション シナリオを対象としています。

P40高性能GPUアクセラレータカードはコンピューティングパワーの保証を提供します

人工知能の爆発的な成長の第 3 波はコンピューティング能力の向上と切り離せないものであり、コンピューティング能力の向上は GPU の普及と切り離せないものです。 UAI-Inference の GPU ノードは、NVIDIA P40 高性能 GPU アクセラレータ カードを使用して、安定した効率的なコンピューティング能力を提供します。

UAI-Inference GPU オンライン サービス プラットフォームは、UAI-Inference CPU プラットフォームと同様に、大規模なコンピューティング ノード、自動負荷分散、ノードの災害復旧、サービス監視、サービス バージョンのグレースケール管理などの機能を提供できます。同時に、UAI-Inference GPU オンライン サービスは、ユーザーがオンライン サービス GPU ノードの規模をいつでも調整し、オンライン ビジネス負荷の変化にリアルタイムで対応することをサポートします。

UAI-Inference GPU オンライン サービス プラットフォームは、Docker コンテナ テクノロジーに基づいて実装されています。ユーザーは、オンライン推論用のコンテナ実装を提供するだけで済みます。オンライン サービス プラットフォームの GPU ノードには、NVIDIA GPU と Docker 実行環境が事前に装備されており、サービス クラスターの迅速な拡張を実現できます。さらに、UAI チームは、TensorFlow/Caffe/MXNet/Keras などの主流の AI フレームワーク用の基本的なコンテナ イメージを提供しています。

3つの主要シーンの遅延削減効果は顕著

UAI-Inference GPU オンライン サービスは、P40 GPU の強力なパフォーマンスを活用して、オンライン推論の効率を 10 倍以上向上させます。

たとえば、画像分類のシナリオでは、UAI-Inference 専用の GPU オンライン サービスが使用されます。次の図に示すように、batchsize=1 の場合の 2 つのアルゴリズム モデル Inception-V3 と ResNet101 の推論遅延は、8C8G CPU クラウド ホストのパフォーマンスと比較して大幅に改善され、リクエスト遅延は 50 ミリ秒未満に短縮されます。

テキスト検出シナリオでは、UAI-Inference の専用 GPU オンライン サービスを使用することで、batchsize=1 の場合の CTPN および EAST アルゴリズム モデルの推論遅延が 8C8G CPU クラウド ホストのパフォーマンスと比較して大幅に改善され、次の図に示すように、要求遅延を数秒から 100 ミリ秒に最適化できます。

ターゲット検出シナリオでは、UAI-Inference 専用 GPU オンライン サービスを使用すると、batchsize=1 の場合の Fast RCNN アルゴリズム モデルの推論レイテンシが 8C8G CPU クラウド ホストのパフォーマンスと比較して大幅に改善され、次の図に示すように、リクエスト レイテンシを約 5 倍短縮できます。

柔軟な支払いコストが低い

現在、人工知能の応用シナリオを実装する主な方法の 1 つはクラウド AI に基づいています。つまり、ユーザーはネットワークを介して処理するデータをクラウド プラットフォームにアップロードし、クラウド プラットフォームは大規模な計算とモデリング、認識などの処理を実行し、計算結果をローカルに送信します。この方法の主な利点は、柔軟性が高く、迅速に導入でき、ユーザーの実際のビジネス ニーズに応じてコンピューティング ノードをいつでも調整できることです。

UAI-Inference GPU オンライン サービス プラットフォームは、ユーザーがいつでも GPU クラスター内のノード数を調整し、ビジネスのピークやオフピークのさまざまな段階に応じて GPU クラスターを水平に拡張および縮小することをサポートします。したがって、ユーザーはアイドル状態や無駄なリソースを心配することなく、実際のニーズに応じてリソースを調整できます。さらに、分単位の正確な課金ディメンションも提供しており、専用サービス P40 GPU ノードの料金は 0.085 元/ノード*分のみです。

人工知能の発展の見通しはますます有望になってきています。企業の AI 変革のためのインフラストラクチャ サポート プラットフォームとして、クラウド サービス プロバイダーはさらに多くの課題に直面することになります。しかし、ユーザーのニーズをさらに満たすために、UCloud は AI 製品の探求において革新を続けます。