アリババが知識蒸留法を革新、その論文がトップカンファレンスCVPR 2022の口頭発表に選出

6月23日、アリババDAMOアカデミーの自動運転実験室は知識蒸留法を革新し、複数のコンピュータービジョンベンチマークテストでアルゴリズムのパフォーマンスを大幅に向上させ、業界の最高の方法を上回りました。関連論文はトップカンファレンスCVPR2022に口頭発表（Oral）として収録されており、この技術はDAMOアカデミーの自動運転アルゴリズムライブラリに統合されており、将来的にはターミナル物流無人車両「小曼路」や自動運転トラック「大曼路」への応用が期待されている。

知識蒸留とは、トレーニング済みの大規模モデル (教師モデル) からトレーニング対象の小規模モデル (生徒モデル) に知識を「蒸留」し、小規模モデルが大規模モデルと同等の一般化機能を獲得できるようにするモデル圧縮/モデルトレーニング手法です。大規模モデルはサイズが大きく、展開コストが高額になることが多いのに対し、小規模モデルは柔軟性が高くコンパクトで、コンピューティング リソースの消費を最小限に抑えることができます。

CVPR 2022公式サイトからの論文共有

知識の蒸留は、産業界と学界で注目されている研究テーマです。 DAMO アカデミーの論文「ターゲット認識型トランスフォーマーによる知識蒸留」では、これまでの知識蒸留手法では、主に教師モデルの特徴を 1 対 1 の空間マッチング方式で生徒モデルに抽出していたことが指摘されています。しかし、構造上の違いにより、同じ空間位置にある大規模モデルと小規模モデルの意味情報は通常異なり、1対1蒸留法の基本的な仮定が大きく弱まります。

この論文では、教師モデル特徴の各ピクセルを生徒モデル特徴のすべての空間位置に抽出し、パラメータ相関を通じて生徒特徴と教師特徴の表現コンポーネントに条件付けられた意味距離を測定し、この相関をモデル化する、新しいトランスフォーマーベースの 1 対多空間マッチング方法を提案します。

新しい方法は、ImageNet、Pascal VOC、COCOS-tuff10k などのベンチマークで優れたパフォーマンスを発揮します。たとえば、同じ学生モデル (tiny ResNet18) に基づく ImageNet データセットの画像分類タスクでは、新しい方法によりモデルのトップ 1 精度が 70.04% から 72.41% に向上しました。これは、以前の最適蒸留方法の 71.61% よりも大幅に高い値です。 ; COCO-Stuff10k のセマンティック セグメンテーション タスクでは、新しい方法により mobilenetv2 構造の mIoU が 1.75% 向上します。

DAMOアカデミーが開発した無人物流車両「小曼路」は1000万件以上の注文を配達した

知識蒸留法は、知識転送、半教師あり学習、コンピューター ビジョンなどの下流アルゴリズムで広く使用されています。自動運転技術チームは、オンライン モデルのパフォーマンスを向上させることに注力しており、これにより小規模なモデルでも大きな役割を果たせるようになります。論文著者の于凱成氏は「自動運転は膨大な量の画像や点群情報を毎日処理するスーパーAIシステムだ。アルゴリズムの性能は端末製品の知能化、安全性、信頼性に関係しており、産業実践が技術革新を牽引していると言える」と述べた。

DAMOアカデミーが開発したレベル4自動運転製品「小曼路」は現在、500台以上の車両に導入され、学校やコミュニティなどの末端の場面で1,000万件以上の配送注文が行われているという。 DAMOアカデミーは、幹線物流用無人トラック「ビッグドンキー」の研究開発を開始しました。