DAMOアカデミーは軽量ネットワーク方式を革新し、Xiaomanlu無人車両が1/3の計算能力で産業用コンピュータレベルのインテリジェンスを実現できるように支援します。

7月23日、DAMOアカデミーの自動運転研究室は、「ダイナミック幅可変ネットワーク」と呼ばれる高性能ネットワーク軽量方式を提案し、従来のアルゴリズムのハードウェア効率が低い問題を解決し、ImageNetデータセットで理論上の2～4倍の加速と実際の1.62倍の加速を達成し、最大5.9％の精度優位性で業界最高の方式を上回りました。このモデルは、DAMOアカデミーの無人車両「Little Donkey」に適用されるほか、モデルの軽量化が求められるさまざまな組み込みデバイスにも適しています。

ディープラーニングは素晴らしいですが、組み込みデバイスに導入するのは困難です。ディープラーニング モデルにはハードウェアの計算能力とメモリに対する要件が高くなりますが、組み込みデバイスの計算能力は限られていることがよくあります。したがって、モデルの軽量化は業界における重要な応用研究トピックです。
DAMOアカデミーが開発したL4無人車両「小曼路」を例にとると、初期のデモ段階の無人車両は産業用コンピュータを使用してすべての自動運転コンピューティングタスクを実行しました。 2020年に正式リリースされたXiaomanluは、DAMO Academyが開発した高性能、低消費電力、低コストの組み込み型ヘテロジニアスコンピューティングユニットに切り替わりました。後者は、産業用コンピュータのインテリジェンス レベルを達成するために 1/3 の計算能力を必要とします。この目的のために、DAMO アカデミーは、モデルの軽量化の方法の検討を含め、ソフトウェアとハ​​ードウェアの連携の設計の最適化を継続しています。

ニューラル ネットワークのプルーニングは、軽量モデルを実現する方法の 1 つです。ネットワークパラメータを削減し、ストレージ要件を下げ、コンピューティング速度を向上させることができます。しかし、既存のアルゴリズムにはボトルネックの問題があります。アルゴリズム モデルはハードウェア計算と互換性がありません。理論的な分析と実際の加速の間には大きなギャップがあり、かなりの計算精度と遅延を犠牲にする必要があり、これは自動運転アプリケーションでは受け入れられません。

画像キャプション: 動的可変幅ネットワークは、可変幅ハイパーネットワークと動的ゲーティングメカニズムを学習することで、さまざまなサンプルの動的ルーティングを実現します。

DAMO アカデミーの自動運転チームは、「Dynamic Slimmable Network」(DS-Net) アルゴリズムを提案しました。テスト中、さまざまな入力に基づいてネットワーク フィルターの数を予測的に調整するため、計算精度には影響せず、従来のアルゴリズムのハードウェア効率の低さと計算の無駄の問題が解決されます。

フィルタは画像処理タスクにおける概念であり、その主な機能は、画像認識のための特徴パターンとしてオブジェクトの特徴を抽出することです。主流のアルゴリズムでは通常、ハードウェアの計算能力を最大化するためにすべてのフィルターがアクティブになります。 DAMO アカデミー モデルは、プルーニングを動的プロセスとして扱い、コンピューティング タスクに基づいてフィルターのアクティブ化の数を動的に調整します。例えば、無人車両が走行中に歩行者や車などの単純なシーンを認識する場合は、簡単モードのみが必要です。 「大きな木を牽引するトラック」などの複雑なシーンに遭遇すると、ハードモードが有効になり、より多くのフィルターがアクティブになります。

ImageNetでは、ResNetとMobileNetに対して、理論値で2～4倍、実値で1.62倍の高速化を達成し、既存のプルーニング、ネットワーク検索、動的ネットワーク圧縮方式を上回り、SOTA（最先端）方式のUniversally Slimmable Networkを最大5.9%の精度優位性で上回りました。

DAMOアカデミーの自動運転研究室のエンジニアである王兵氏は、この方法は現在、小曼路の無人運転車に採用されていると語った。このアルゴリズムは特定のハードウェア向けに設計されていないため、汎用性が高く、軽量モデル要件を持つあらゆる種類の組み込みデバイスに適しています。
小曼路の無人運転車はすでに量産され、使用されていると報じられている。来年には、1,000台の車両が全国の大学やコミュニティに入り、ターミナル配送サービスを提供する予定です。

画像キャプション：動的幅可変ネットワークはResNet-50とMobileNetV1の高速化に成功し、計算量を2～4倍削減し、実効1.17倍と1.62倍の高速化を達成しました。最大精度の優位性は5.9%で、Universally Slimmable Networkを上回りました。