DeepMind は、RL エージェントを簡単に作成できる効率的な分散強化学習アルゴリズム フレームワーク Acme をリリースしました。

[[329133]]

DeepMind は今週、強化学習最適化フレームワーク Acme をリリースしました。これにより、AI 駆動型エージェントをさまざまな実行スケールで実行できるようになり、強化学習アルゴリズムの開発プロセスが簡素化されます。

この研究に関する技術論文を共同執筆した Acme のエンジニアと研究者によると、エージェントを作成するこのアプローチにより、より優れた並列処理が可能になるという。

強化学習は、インテリジェントエージェントが環境と対話し、独自のトレーニングデータを生成できるようにするもので、ビデオゲーム、ロボット工学、自動運転ロボットタクシーなどの分野で画期的な進歩をもたらしました。

使用されるトレーニング データの量が増加するにつれて、エージェントが環境のインスタンスと対話することで経験を急速に蓄積するシステムを設計する動機が生まれます。 DeepMind は、アルゴリズムの単一プロセス プロトタイプを分散システムに拡張するには、関連するエージェントを再実装する必要があることが多く、ここで Acme フレームワークが役立つと主張しています。

DeepMind の研究者は、「Acme は、読みやすく、効率的で、研究指向の RL アルゴリズムを構築するためのフレームワークです。本質的に、Acme は、分散エージェントを含むさまざまな実行スケールで実行できる RL エージェントを簡単に記述するために使用できるように設計されています。」と書いています。

「Acme をリリースすることで、学術界や業界の研究室で開発されたさまざまな RL アルゴリズムの結果を、機械学習コミュニティ全体でより簡単に複製および拡張可能にすることが私たちの目標です。」

Acme フレームワークの目的は何ですか?

研究者たちは、Acme フレームワークの高レベルの目標を明確に述べました。

1. 方法と結果の再現性の達成

新しいアルゴリズムの設計を簡素化する 2 つの方法

3. RLエージェントの可読性の向上

これを実現するにはどうすればよいでしょうか?

最高レベルでは、Acme は、アクター (アクション選択エージェントなど) を環境に接続するという役割を持つ、古典的な強化学習インターフェースと考えることができます。

アクターは、アクションを選択し、観察し、自己更新を実装する機能を備えたシンプルなインターフェースです。

内部的には、学習エージェントは「実行」と「学習」の 2 つの部分に分けられます。表面的には、これにより、異なるマルチエージェント間で動作部分を再利用できます。

しかし、さらに重要なのは、これにより学習プロセスを分割して並列化できる重要な境界が提供されることです。ここからスケールダウンして、環境なしで固定データセットのみを使用してバッチ RL 設定にシームレスに取り組むこともできます。

これらのさまざまな複雑さのレベルを以下に示します。

研究者らは、Acme ベースのフレームワークに加えて、Acme フレームワークを使用して作成された多数のエージェントの単一プロセスの例も公開しました。

実行/学習の境界を越えることで、プロセスの変更を最小限に抑えながら、同じエージェントを分散方式で実行できるようになります。

Acme フレームワークの最初のバージョンは、主に学生や研究者によって最も一般的に使用される単一プロセス エージェントを対象としています。

研究者らは、コントロール スイート、Atari、bsuite などの環境でこれらのエージェントをベンチマークしました。

Acme フレームワークの利点は何ですか?

Acme は、アルゴリズムやポリシーから学習者まで、さまざまな抽象化レベルでエージェントをガイドするためのコンポーネントを備え、複雑性と規模の問題に対処するための強化学習エージェントをトレーニングするための開発キットです。

そうすることで、主にトレーニング ループ、徹底的なログ記録、チェックポイント設定を通じて、アイデアを迅速に反復し、運用環境でそれらのアイデアを評価することが可能になります。

特別なタイプの Acme アクターは、実行コンポーネントと学習コンポーネントの両方 (どちらも「エージェント」と呼ばれます) で構成され、その状態の更新は学習コンポーネントのいくつかのステップによってトリガーされます。つまり、エージェントは主にアクションの選択を自身の実行コンポーネントに委任します。

Acme フレームワークでは、アクターは環境を観察し、アクションを実行し、環境にマテリアルを提供することで、環境と密接に対話します。

その後の変化を観察した後、アクターは状態を更新する機会を持ちます。これは通常、環境に応じて実行するアクションを決定するアクション選択ポリシーに関連しています。

Acme は、アクター コンポーネントと学習者コンポーネントの間に位置するデータセット モジュールを提供します。これは、DeepMind も今週リリースした Reverb と呼ばれる低レベルのストレージ システムによってサポートされています。さらに、このフレームワークは Reverb への共通インターフェースを確立し、さまざまなスタイルの前処理と観測データの継続的な集約を可能にします。

Reverb は、機械学習研究用に特別に設計された、効率的で使いやすいデータ保存および転送システムです。 Reverb は主に分散強化学習アルゴリズムの体験再生システムとして使用されますが、FIFO、LIFO、優先キューなどの複数のデータ構造表現もサポートしています。

Acme では、実行、学習、およびストレージの各コンポーネントが異なるスレッドまたはプロセスに分割されており、環境の相互作用と学習プロセスが非同期で行われ、データ生成が加速されるという 2 つの利点があります。

一方、Acme では、プロセスが特定の定義された許容範囲内にある限り、学習から実行まで、プロセスを妨げられることなく任意の速度で実行できます。たとえば、ネットワークの問題やリソース不足により、あるプロセスが別のプロセスより遅れる場合、レート リミッターは遅れているプロセスをブロックし、他のプロセスが追いつくようにします。

これらのツールとリソースに加えて、Acme には、それぞれの強化学習アルゴリズムのリファレンス実装や強力な研究ベースラインとして機能するサンプルエージェントのセットが付属しています。

「これらを提供することで、Acme が [強化学習] の再現性を向上させ、学術研究者に新しいエージェントを作成するためのシンプルな構成要素を提供してくれることを期待しています」と DeepMind の研究者は書いています。 「さらに、私たちのベースラインは、この分野の進歩を測定できる追加の指標を提供する必要があります。」

GitHub アドレス: https://github.com/deepmind/acme

論文アドレス: https://arxiv.org/pdf/2006.00979v1.pdf