BoyaとIntelが協力し、Analytics Zoo Cluster Servingをサポートする自動分散型スケーラブル推論プラットフォームを構築

概要

データの豊富な固有情報のマイニング、フィッティング機能、データのスケーラビリティなどの利点により、ディープラーニングは、人工知能 (AI) アプリケーションを導入する多くの企業ユーザーにとって好ましい選択肢になりつつあります。しかし同時に、通常の機械学習アプリケーションと比較すると、ディープラーニングはアルゴリズムの展開、モデル設計、コンピューティング インフラストラクチャの構築においてより高いハードルがあります。

PowerLeader は、企業ユーザーがディープラーニングの導入と適用のハードルを下げ、ソフトウェアとハ​​ードウェアを統合した分散型フルスタック推論プラットフォームを構築できるように、Analytics Zoo Cluster Serving をサポートする AI 推論サーバー PR2715P2 をベースとした自動分散型でスケーラブルな推論プラットフォームをリリースしました。 PowerLeader PR2715P2 は、第 2 世代 Intel® Xeon® スケーラブル プロセッサーと Intel® Deep Learning Acceleration (Intel® DL Boost) テクノロジーを統合したまったく新しい設計を採用し、パフォーマンスと電力消費の効果的なバランスを実現し、ディープラーニング アプリケーション向けの高性能な基本プラットフォームを提供します。

課題: ディープラーニングの導入と最適化を加速する方法

ディープラーニング アルゴリズムの継続的な革新により、ディープラーニング モデル向けの大規模かつリアルタイムの分散推論サービスを必要とするアプリケーションが増えています。モデルの最適化、サービス提供、クラスターのスケジューリング、ワークフロー管理などのタスクに使用できるツールはいくつかありますが、多くのディープラーニング エンジニアや科学者にとって、大規模なクラスターに透過的に拡張できる分散推論ワークフローの開発と展開は依然として大きな課題です。

ビッグデータ向けのディープラーニング アプリケーションの構築と生成を容易にするために、Intel は Analytics Zoo プラットフォームを立ち上げました。このプラットフォームは、TensorFlow、Keras、Pytorch、BigDl Spark、Flink、Ray プログラムを分散トレーニングや予測のための統合データ分析パイプラインにシームレスに統合できる統合データ分析 + AI プラットフォームを提供し、ユーザーがディープラーニング アプリケーションをより簡単に構築できるようにします。パイプライン全体を透過的に拡張して、分散トレーニングまたは推論用の Intel® Xeon® プロセッサーを搭載したサーバーで構成された Hadoop/Spark クラスター上で実行できます。

新しいバージョンの Analytics Zoo では、Cluster Serving もサポートされており、軽量で分散されたリアルタイムのモデル サービング ソリューションを構築できます。 Analytics Zoo Cluster Serving は、さまざまなディープラーニング モデルをサポートし、ユーザーが推論リクエストを入力キューに簡単に送信できるシンプルなパブリッシュ/サブスクライブ API を提供します。 Cluster Serving は、分散ストリーミング フレームワークを使用して、大規模なクラスター全体でのリアルタイムのモデル推論と自動スケーリングを実行します。

図 1. Analytics Zoo Cluster Serving ソリューションの全体的なフレームワーク

Analytics Zoo Cluster Serving に基づくディープラーニング アルゴリズムとアプリケーションを導入するには、企業は高性能コンピューティング サポートを提供するハードウェアを選択、最適化、検証する必要がありますが、このプロセスでは、企業は困難な課題にも直面します。まず、従来のソリューションはフルスタック設計ではなく、ハードウェアの選択、ソフトウェアとハ​​ードウェアの適応と最適化に多くの時間と労力が必要であり、総所有コスト (TCO) の増加につながる可能性があります。

第二に、ディープラーニングのアルゴリズムとアプリケーションでは AI パフォーマンスに対する要件が非常に高く、AI パフォーマンス向けに最適化されていない CPU では動作効率に明らかなボトルネックが生じます。 GPU サーバーは十分なコンピューティング パワー サポートを提供できますが、コストが比較的高く、アプリケーションの範囲には多くの制限があり、特別な展開とチューニングが必要なため、ディープラーニング アプリケーションの迅速な起動には適していません。

ソリューション: PowerLeader PR2715P2 AI推論サーバーをベースとした自動分散型スケーラブル推論プラットフォーム

PowerLeader の PR2715P2 AI 推論サーバーは、第 2 世代 Intel Xeon スケーラブル プロセッサーを搭載し、Analytics Zoo Cluster Serving 分散推論テクノロジー ソリューションを完全にサポートします。推論サーバーは、ハードウェアとソフトウェアを統合した分散型フルスタック推論ソリューションです。高性能コンピューティングと高度な人工知能分析タスク向けに設計されており、優れたパフォーマンスと電力の比率を備えています。

図2: PowerLeader PR2715P2 AI推論サーバー

第 2 世代 Intel Xeon スケーラブル プロセッサーは、データ センターの近代化を目的として設計されており、さまざまなインフラストラクチャ、エンタープライズ アプリケーション、テクニカル コンピューティング アプリケーションの運用効率を向上させ、総所有コスト (TCO) を削減してユーザーの生産性を高めることができます。シングルコアのパフォーマンスが向上し、コンピューティング、ストレージ、ネットワーク アプリケーションにおける計算集約型のワークロードに高いパフォーマンスとスケーラビリティを提供できます。 Intel® Ultra Path Interconnect (Intel® UPI)、Intel® Infrastructure Management Technology (Intel® IMT)、Intel® Advanced Vector Extensions 512 (Intel® AVX-512) などの先進的な機能により、要求の厳しい I/O 集中型ワークロードのニーズを満たすことができます。

さらに、第 2 世代 Intel Xeon スケーラブル プロセッサーには AI アクセラレーションが組み込まれており、ワークロードに最適化されているため、さまざまな高性能コンピューティング ワークロード、AI アプリケーション、高密度インフラストラクチャにクラス最高のパフォーマンスとメモリ帯域幅をもたらします。同時に、ベクトル ニューラル ネットワーク命令 (VNNI) を備えた Intel® Deep Learning Acceleration (Intel® DL Boost) により、AI 推論のパフォーマンスが大幅に向上し、前世代と比較して最大 14 倍のパフォーマンス向上が実現します。これにより、AI アプリケーションを拡張するための優れたインフラストラクチャが実現します。

PowerLeader PR2715P2 AI推論サーバーによって構築されたプラットフォームでは、ユーザーはAnalytics Zoo Cluster ServingのDockerイメージ、構成ファイル、トレーニング済みモデル（現在サポートされているモデルには、TensorFlow、PyTorch、Caffe、BigDL、OpenVINO™モデルが含まれます）、および推論データを準備するだけで、数分で推論アプリケーションを起動して実行できます。

PowerLeader の統合型分散型スケーラブル AI 推論ソリューションは、Analytics Zoo Cluster Serving のサポートを追加することで、構成とプロセスの複雑さを大幅に軽減し、高度なカスタマイズされたサービスを提供しながら TCO を効果的に削減します。この新しいクラスター モデル サービング サポートにより、ユーザーの分散推論ワークフローが簡素化され、作業効率が向上し、ディープラーニング シナリオに優れたパフォーマンスがもたらされます。

効果: 自動分散型でスケーラブルな推論プラットフォームにより、ディープラーニングの導入と応用が加速

PowerLeader PR2715P2AI 推論サーバーをベースにした自動分散スケーラブル推論プラットフォームを導入することで、ユーザーは次の価値を実現できます。

• ディープラーニングの展開をスピードアップ: Analytics Zoo Cluster Serving + PowerLeader PR2715P2 AI推論サーバーのフルスタック推論ソリューションにより、ユーザーはプラットフォーム構築、ソフトウェアとハ​​ードウェアの最適化と検証にかかる時間を大幅に節約し、ディープラーニングアプリケーションを迅速に展開できます。
• システム全体のコンピューティング能力を向上: 第 2 世代 Intel Xeon スケーラブル プロセッサーは強力な AI パフォーマンスを備えており、ソリューションのコンピューティング能力の強固な基盤を築きます。分散クラスターを形成後、大規模なディープラーニング負荷を処理できます。
• 将来を見据えたスケーラビリティの確保: このソリューションは、ソフトウェア レベルでの自動スケーラビリティを実現するだけでなく、サーバーの分散展開を通じて俊敏なスケーラビリティも提供し、将来のディープラーニング インフラストラクチャの要件に迅速に対応できます。

展望：BoyaとIntelが協力してAI技術の開発を推進

人工知能技術とアプリケーションは、デジタル変革の重要な技術的方向性です。 Boya は長年にわたり、Intel などのパートナーと繁栄した AI エコシステムを構築し、ハードウェアとソフトウェアを統合した AI ソリューションの革新を継続的に推進し、機械学習やディープラーニングなどのテクノロジーに対するインフラストラクチャ サポートを提供してきました。同時に、両者は業界のニーズに基づいてAIソリューションの実装シナリオを拡大し続け、製品と業界のアプリケーション統合を深めていきます。

Analytics Zoo Cluster Servining と PowerLeader PR2715P2 AI 推論サーバーに基づく自動分散型スケーラブル推論プラットフォームは、PowerLeader と Intel の協力による重要な成果であり、ディープラーニング導入のハードルを下げ、ディープラーニング推論を加速する上でその価値を証明し続けています。両社は、高性能コンピューティングのデータ分析と人工知能の加速を単一のコンピューティング環境にさらに統合し、高性能コンピューティング システムが直面する固有の課題に対処するために、コンピューティング エンジンをサポートする新しいメモリおよびストレージ モデルを提供します。

ボヤについて

深セン PowerLeader Computer Systems Co., Ltd. は 2003 年に設立されました。主な事業は、サーバーと PC の研究開発、製造、販売、および顧客への包括的なクラウド コンピューティング ソリューションの提供です。同社は、インターネット、教育、ラジオ・テレビ、セキュリティ、金融、通信、税務、運輸、電力、医療などの業界向けに最先端の IT 製品とサービスを提供し、中国を代表する IT 製品およびソリューション プロバイダーになることを目指しています。長年にわたり、強力な競争相手がひしめく中国のサーバー市場において、PowerLeader のサーバー市場シェアは、その先進的な技術と独自の総合的なソフトウェアおよびハードウェアの強みにより、中国で長年連続してトップクラスにランクされています。

インテルについて

インテル（NASDAQ: INTC）は、世界的な進歩を推進し生活を豊かにする、世界を変えるテクノロジーを生み出す業界リーダーです。当社はムーアの法則に着想を得て、半導体の設計と製造を進歩させ、お客様が最大の課題を克服できるよう支援することに尽力しています。クラウド、ネットワーク、エッジ、あらゆるコンピューティング デバイスにインテリジェンスを組み込むことで、データの可能性を最大限に引き出し、ビジネスと社会をより良い方向に変革します。 Intel のイノベーションに関する詳細については、Intel China News Center newsroom.intel.cn および公式 Web サイト intel.cn をご覧ください。

付録: Powerleader PR2715P2 AI推論サーバーの構成