エッジコンピューティングの探究: プロセッサ、アルゴリズム、メモリ

エッジコンピューティングとは

最近、エッジコンピューティングは、人工知能やモノのインターネットの分野で非常にホットなキーワードになっています。

人工知能とモノのインターネットに関する当初の考えは、クラウド内に非常に強力なデータセンターがあり、モノのインターネットの各ノードがデータを収集してクラウドに送信する役割を担っているというものでした。クラウドはデータに基づいて分析および決定を行い、その結果を端末に送り返します。このモデルでは、クラウドがインテリジェント コンピューティングを担当し、ターミナル ノードがデータの収集と意思決定の実行を担当します。

しかし、このコンセプトは実際の実装において多くの困難に直面しました。最初の困難は、データ転送のオーバーヘッドから生じます。 IoT ノードは通常、ワイヤレス ネットワークを使用してクラウドにデータを送信します。 IoT ノードがすべての生データを処理せずにクラウドに送信すると、帯域幅の需要が爆発的に増加し、ネットワーク インフラストラクチャはそのような高い帯域幅をサポートできなくなります。オーバーヘッドのもう 1 つの部分は、ワイヤレス伝送の電力消費です。データをそのままクラウドに送信する場合、端末ノードの無線伝送モジュールは高速無線伝送をサポートする必要があり、無線モジュールは多くの電力消費を必要とし、IoT ノードの低消費電力コンセプトと矛盾します。 2 番目の難点は遅延です。自動運転やセキュリティなど、ノードによって実行される多くのタスクは、遅延に対して非常に敏感です。これらのアプリケーションでは、ネットワーク伝送によって発生する遅延 (数十ミリ秒以上、ネットワーク信号が弱いと数秒の遅延や切断が発生することもあります) は許容されません。

これらの問題を考慮すると、エッジ コンピューティングが解決策になります。エッジ コンピューティングでは、端末ノードはコンピューティングとまったく無関係ではなく、一定量のコンピューティングとデータ処理を実行し、処理されたデータをクラウドに渡します。この方法では、計算がローカルで行われ、処理されたデータは元のデータから精製される必要があるため、遅延と帯域幅の問題を解決でき、データ量が大幅に小さくなります。もちろん、エッジでどれだけのコンピューティングが行われるかは、コンピューティング能力と無線伝送の電力消費との間の妥協点によっても異なります。端末が行う計算が増えるほど計算電力の消費量も大きくなり、無線送信電力の消費量は通常は小さくなります。システムによって最適な値は異なります。

エッジ コンピューティング システムの場合、プロセッサ、アルゴリズム、メモリは、システム全体の中で最も重要な 3 つの要素です。これらの要素を詳しく分析してみましょう。

エッジコンピューティング向けプロセッサ: 汎用性はどの程度か?専用のアクセラレータを使用しますか?

従来の IoT 端末ノードのプロセッサは単純な MCU であり、主に制御目的で使用され、計算能力は比較的弱いです。端末ノードにエッジ コンピューティング機能を追加するには、2 つの方法があります。 1つ目は、新しい命令セットを使用してベクトルコンピューティングのサポートを強化したり、複数のコアを使用してSIMDのようなアーキテクチャを作成したりすることで、MCUを強化することです。 2つ目は、異機種コンピューティングの考え方を採用することです。 MCU は依然として単純な制御目的を維持し、コンピューティング部分は専用のアクセラレータ IP に引き継がれて完了します。実際、現在普及している AI チップのほとんどは、このような専用の人工知能アルゴリズム アクセラレータ IP で作られています。明らかに、前者のアイデアはより汎用性が高く、2 番目のアイデアはより計算効率に優れています。将来的にはこの2つの考え方が並行して共存していくことが予想されます。プラットフォームベースの製品では最初の一般的なアイデアが採用され、特定の大規模アプリケーション向けにカスタマイズされた製品では専用のアクセラレータ IP のアイデアが採用されます。ただし、IoT端末向け専用アクセラレータIPの設計は、メモリ制限のため、他分野（携帯電話など）の専用アクセラレータとは設計が異なります（以下の分析を参照）。

アルゴリズムとメモリ

周知のとおり、最も主流のディープ ニューラル ネットワーク モデルのサイズは通常数 MB、場合によっては数百 MB にもなり、IoT ノードへの展開には課題が生じます。コストとサイズの観点から、IoT ノードの端に DRAM を追加することはできず、システム メモリとしては FLASH (オペレーティング システムなどの格納にも使用される) が一般的に使用されます。モデルの重み情報を格納するために FLASH を使用することを検討できますが、FLASH の書き込み速度は比較的遅いため、プロセッサ チップ上でキャッシュを行う必要があります。キャッシュ サイズは一般に数百 KB から 1 MB 程度であるため、モデルのサイズが制限されます。そのため、アルゴリズムはモデルを非常に小さくできる必要があります。そのため、最近「モデル圧縮」というトピックが非常に人気になっています。

アルゴリズムによってモデルを非常に小さくできない場合は、インメモリ コンピューティングを検討する必要があります。インメモリ コンピューティングは、従来のフォン ノイマン アーキテクチャとは異なるコンピューティング方法です。フォン・ノイマン・アーキテクチャは、プロセッサの計算ユニットをメモリから分離します。プロセッサは必要に応じてメモリからデータを読み取り、プロセッサがデータを処理した後、そのデータをメモリに書き戻します。そのため、フォン・ノイマン・アーキテクチャを使用する従来の専用アクセラレータのほとんどは、DRAM メモリと組み合わせて使用​​する必要があり、DRAM を追加できない IoT ノードにこのようなソリューションを展開することは困難です。インメモリ コンピューティングでは、データをプロセッサにフェッチせずにメモリ内で直接計算を実行するため、メモリ アクセスの余分なオーバーヘッドが削減されます。インメモリ コンピューティング アクセラレータの本体は大容量の SRAM またはフラッシュであり、メモリにいくつかのコンピューティング回路が追加され、メモリ内で直接計算を実行できるようになります。理想的には、関連するアルゴリズムは DRAM なしで実行できます。

もちろん、インメモリ コンピューティングには独自の課題があります。プログラミング モデルを慎重に検討する必要があることに加え、現在のインメモリ コンピューティングの実装ソリューションは基本的にアナログ計算であるため、計算精度には限界があり、FP32 などの高精度は絶対に実現できません。これには、人工知能モデルとアルゴリズムが適切に調整され、低精度コンピューティング（つまり量子化コンピューティング）を適切にサポートして、低精度コンピューティングで精度が大幅に低下するのを防ぐことが必要です。計算中に 1 ビットの精度 0 または 1 のみを持ち、それでも妥当な分類精度を維持できるバイナリ ニューラル ネットワーク (BNN) はすでに数多く存在します。

一方、IoTノード端末のメモリ不足の問題を解決するには、モデル圧縮を使用する以外に、新しいメモリソリューションを使用して高密度のオンチップメモリ​​を実現したり、オフチップの不揮発性メモリの読み書き速度を高速化して読み書きの消費電力を削減したりする方法もあります。したがって、エッジコンピューティングは、MRAM、ReRAMなどの新しいメモリデバイスも生み出すでしょう。

要約する

エッジコンピューティングは、人工知能とモノのインターネットの組み合わせによって生まれたものであり、今後の重要なトレンドです。将来のエッジ コンピューティングの主要テクノロジには、新しいプロセッサ (強力な汎用プロセッサまたは専用アクセラレータ)、インメモリ コンピューティング、ネットワーク モデル圧縮、新しいメモリなどがあります。新しいテクノロジーが好きな友人は、これらの分野にもっと注目したいと思うかもしれません。今後、多くの興味深い企業や技術が誕生することが期待されます。