分散アプリケーションを簡単に作成

[[420515]]

計算負荷の高いタスクに直面した場合、マルチプロセスに加えて分散コンピューティングが必要になります。 Python で分散コンピューティングを実装するにはどうすればよいでしょうか?今日は、Ray を使用する非常に簡単な方法を紹介します。

レイとは何か

Ray は、動的グラフ コンピューティング モデルを使用し、分散アプリケーションを作成するためのシンプルで汎用的な API を提供する Python ベースの分散コンピューティング フレームワークです。とても便利です。デコレータを使用すると、ごくわずかなコードを変更するだけで、元々単一のマシンで実行されていた Python コードの分散コンピューティングを簡単に実装できます。現在は主に機械学習に使用されています。

Ray の特徴:

1. 分散アプリケーションを構築および実行するためのシンプルなプリミティブを提供します。

2. ユーザーがコードをほとんどまたはまったく変更せずに、単一マシンのコードを並列化できるようにします。

3. Ray Core には、複雑なアプリケーションをサポートするためのアプリケーション、ライブラリ、ツールの大規模なエコシステムが含まれています。 Tune、RLlib、RaySGD、Serve、データセット、ワークフローなど。

Rayをインストールする

公式バージョンをインストールする最も簡単な方法:

 pip インストール -U ray
 pip インストール'ray[デフォルト]'  

Windowsシステムの場合は、Visual C++ランタイムをインストールする必要があります。

その他のインストール方法については、公式ドキュメントを参照してください。

Rayの使用

デコレータは分散コンピューティングを処理できます。

レイをインポート
レイ.init() 
 
レイ・リモート
定義f(x):
 x * xを返す
 
 futures = [f.remote(i) はiがrange(4)]内にある場合
print(ray.get(futures)) # [0, 1, 4, 9]

まず ray.init() を実行し、分散タスクを実行する関数の前にデコレータ @ray.remote を追加して分散コンピューティングを実装します。デコレータ @ray.remote はクラスを装飾することもできます。

レイをインポート
レイ.init() 
 
レイ・リモート
クラス Counter(オブジェクト):
    __init__(self)を定義します。
        自分.n = 0 
 
    def増分(自己):
        自己.n += 1 
 
    def読み取り（自己）:
自己.nを返す
 
カウンター = [Counter.remote()のiが範囲(4)]
 tmp1 = [カウンター内のcのc.increment.remote()]
 tmp2 = [カウンター内のcのc.increment.remote()]
 tmp3 = [カウンター内のcのc.increment.remote()]
先物 = [c.カウンター内のcの.remote()を読み取ります]
 print(ray.get(futures)) # [3, 3, 3, 3]

もちろん、前述の分散コンピューティングは、分散形式で、自分のコンピュータ上で実行されます。プログラムの実行中に、http://127.0.0.1:8265/#/ と入力して、分散タスクの実行ステータスを表示できます。

では、Ray クラスター コンピューティングをどのように実装するのでしょうか?続きをお読みください。

レイクラスターの使用

Ray の強みの 1 つは、同じプログラムで複数のマシンを活用できることです。もちろん、Ray は 1 台のマシン上でも実行できます。通常は、マシンは 1 台しかないからです。しかし、本当の力は、マシンのクラスター全体で Ray を使用することです。

Ray クラスターは、ヘッド ノードとワーカー ノードのセットで構成されます。まずヘッドノードを起動し、ヘッドノードのアドレスをワーカーノードに割り当てて、クラスターを形成する必要があります。

Ray Cluster Launcher を使用してマシンを構成し、マルチノード Ray クラスターを起動できます。クラスター ランチャーは、AWS、GCP、Azure、Kubernetes、Alibaba Cloud、オンプレミス、Staroid、さらにはカスタム ノード プロバイダーでも使用できます。

Ray クラスターは Ray Autoscaler も活用できます。これにより、Ray はクラウド プロバイダーと対話して、仕様やアプリケーションのワークロードに基づいてインスタンスを要求またはリリースできます。

それでは、Ray クラスターの機能を簡単に説明しましょう。ここでは、Docker を使用して 2 つの Ubuntu コンテナを起動し、クラスターをシミュレートします。

• 環境1: ヘッドノードとして172.17.0.2
• 環境 2: ワーカー ノードとして 172.17.0.3。ワーカーノードは複数存在できます。

具体的な手順:

1. Ubuntuイメージをダウンロードする

docker プル Ubuntu

2. Ubuntuコンテナを起動し、依存関係をインストールする

最初の開始

docker run -it --name ubuntu-01 ubuntu bash  

2番目を開始

docker run -it --name ubuntu-02 ubuntu bash  

IP アドレスを確認します:

 $ docker 検査 -f "{{ .NetworkSettings.IPAddress }}" ubuntu-01
 172.17.0.2
 $ docker 検査 -f "{{ .NetworkSettings.IPAddress }}" ubuntu-02
 172.17.0.3

次に、コンテナにそれぞれpython、pip、rayをインストールします。

 aptアップデート&& apt インストール python3
 python3-pipをインストールします
pip3 インストール ray

3. ヘッドノードとワーカーノードを起動する

コンテナの 1 つをヘッド ノードとして選択し、ここでは 172.17.0.2 を選択して、次を実行します。

レイスタート--head --node-ip-address 172.17.0.2  

デフォルトのポートは 6379 です。--port パラメータを使用して、デフォルトのポートを変更できます。起動後の結果は次のとおりです。

警告を無視するとプロンプトが表示されます。他のノードをヘッドにバインドする場合は、次のようにします。

レイスタート--address='172.17.0.2:6379' --redis-password='5241590000000000'  

別のノードで上記のコマンドを実行して、ワーカー ノードを起動します。

シャットダウンするには、次を実行します。

レイストップ

4. タスクを実行する

任意のノードを選択し、次のスクリプトを実行して、ray.init() 関数のパラメータを変更します。

コレクションからカウンターをインポート
インポートソケット
インポート時間  
 
レイをインポート
 
 ray.init(アドレス= '172.17.0.2:6379'、_redis_password= '5241590000000000' ) 
 
 print( '' 'このクラスターは
    合計{ }ノード
    {}CPU リソースの合計
'' '.format(len(ray.nodes()), ray.cluster_resources()[' CPU'])) 
 
レイ・リモート
f() を定義します:
時間.sleep(0.001)
    # IP アドレスを返します。
 socket.gethostbyname(socket.gethostname())を返します
 
 object_ids = [f.remote() _の範囲(10000)]
 ip_addresses = ray.get(オブジェクトID) 
 
 print( '実行されたタスク' )
 Counter(ip_addresses).items()のip_address、num_tasksの場合:
    print( '{} の {} 個のタスク' .format(num_tasks, ip_address))

実行結果は次のとおりです。

172.17.0.2 は 4751 個のタスクを実行し、172.17.0.3 は 5249 個のタスクを実行し、分散コンピューティングの効果を実現していることがわかります。

最後の言葉

Ray を使用すると、Python のマルチプロセスを使用せずに並列コンピューティングを実装できます。今日の機械学習は主に計算集約型のタスクであり、分散コンピューティングの助けがなければ、速度は非常に遅くなります。 Ray は、分散コンピューティングを簡単に実装するためのソリューションを提供します。公式ドキュメントには非常に詳細なチュートリアルと例が記載されています。ご興味がございましたら、ぜひご覧ください。

もし役に立つなら、私をフォローして毎日 Python テクノロジーを学んでみてはいかがでしょうか。