Angel: 新しい分散型機械学習システム

Angel は、パラメータ サーバーの概念に基づいた分散型機械学習フレームワークであり、機械学習アルゴリズムを高次元モデル上で簡単に実行できます。 Angel はモデル共有という中核概念に焦点を当て、大規模な高次元モデルを複数のパラメータ サーバー ノードに合理的に分割し、効率的なモデル更新インターフェイス、操作機能、変数同期プロトコルを通じてさまざまな効率的な機械学習アルゴリズムを実装します。優れた設計のおかげで、Angel は独立して実行でき、さまざまな機械学習アルゴリズムを効率的に実行できるだけでなく、Spark や既存のディープラーニング フレームワークをサポートして高速化する PS サービスとしても機能します。業界からの膨大なデータに基づいて繰り返し実践と調整が行われており、幅広い適用性と安定性を備えています。モデルの次元が高くなるほど、利点は明らかになります。

既存の機械学習システムは、さまざまな種類の機械学習タスク用に構築されています。データフローシステム Hadoop と Spark は、一般的なデータ処理タスクや機械学習パイプラインの構築に適していますが、パラメータ共有メカニズムが欠如しており、単一ポイントのボトルネックによるパフォーマンスの問題があります。グラフコンピューティングシステム GraphLab、GraphX、Tux2 は、機械学習の計算をグラフ構造に抽象化します。グラフ構造の特性を利用して計算を高速化できますが、疎なグラフ構造を持つアルゴリズムにのみ適しています。ディープラーニング システム TensorFlow、MXNet、Caffe2 は、パラメータ サーバーまたは Allreduce メソッドを使用して分散ニューラル ネットワークをトレーニングします。これらの特徴は、GPU を使用してニューラル ネットワークの計算を高速化できることですが、最適化とスパース グラフ構造のサポートが欠けています。

Angel は、分散機械学習の共通性を設計において抽象化し、洗練させます。この記事では、分散機械学習の核心部分はパラメータの共有にあると考えています。効率的なパラメータ共有メカニズムを提供できれば、さまざまな機械学習タスクを拡張し、高速化することができます。そのため、Angel は PS サービス機能を提供し、2 つの動作モードをサポートします。モードの 1 つは PS サービス モードと呼ばれ、このモードでは Angel はマスター サーバーおよびパラメーター サーバーのみを起動し、特定のコンピューティング タスクは他のコンピューティング プラットフォーム (Spark、TensorFlow など) によって完了されます。このモードでは、Angel はパラメータ サーバーの機能の提供のみを担当します。別のモードでは、Angel は Worker も起動し、Angel はモデルのトレーニングを完了する責任を負います。 Angel は PS サービス機能を提供し、さまざまな種類の機械学習タスクを処理し、より便利な機械学習開発エクスペリエンスを提供できるようにします。

さらに、Angelは次の機能も提供できます。(1) 異なるクラスタ環境での高速化のための複数のパラメータ同期プロトコル。 （２）アルゴリズム開発を容易にする使いやすく豊富なインターフェース（３）アルゴリズムのスケーラビリティを向上させるデータ並列処理とモデル並列処理の機能（4）複雑な環境におけるタスクの動作を保証する効率的なフォールトトレラントメカニズム。実際のデータセットで比較した結果、複数の機械学習アルゴリズムにおける Angel のパフォーマンスは、XGBoost、Spark、Petuum、TensorFlow などの一般的な機械学習システムよりも優れています。現在、AngelはTencent Videoのクリック予測や広告推奨など実際のビジネスに応用されています。

Angel のオープンソース システムは、北京大学と Tencent の共同イノベーション研究所によって開発されました。業界における高い可用性と学術コミュニティにおける革新の両方を考慮に入れています。 GitHub で完全にオープンソース化されており、ロジスティック回帰、SVM、KMeans、LDA、MF、GBDT などの複数の機械学習アルゴリズムを統合して最適化します。Angel は現在 Java と Scala をベースに開発されており、将来的には Python やその他の言語インターフェースを追加して、より使いやすくする予定です。将来的には、Angel の PS サービス機能がさらに活用され、グラフ コンピューティングやディープラーニング フレームワークがサポートされるようになります。