AWS Batch の紹介

AWS Batch を使用すると、バッチジョブのコードをパッケージ化し、依存関係を指定して、AWS マネジメントコンソール、CLI、または SDK を使用してバッチジョブを送信するだけです。 AWS Batch を使用すると、実行パラメータとタスクの依存関係を指定できるだけでなく、さまざまな一般的なバッチコンピューティングワークフローエンジンや言語 (Pegasus WMS、Luigi、AWS Step Functions など) との統合も容易になります。 AWS Batch は、ジョブの要件に基づいて Amazon EC2 およびスポットインスタンスを効率的かつ動的にプロビジョニングおよびスケーリングします。 AWS Batch では、すぐに開始できるようにデフォルトのタスクキューとコンピューティング環境定義が用意されています。

[[229632]]

特性

[[229633]]

きめ細かなタスク定義

AWS Batch を使用すると、vCPU やメモリ、AWS Identity and Access Management (IAM) ロール、ボリュームマウントポイント、コンテナプロパティ、環境変数などのリソース要件を指定して、タスクの実行方法を定義できます。 AWS Batch は、Amazon ECS で実行されているコンテナ化されたアプリケーションと同じようにタスクを実行します。

[[229634]]

シンプルなタスク依存関係モデリング

AWS Batch を使用すると、さまざまなタスク間の依存関係を定義できます。たとえば、バッチ ジョブは 3 つの異なる処理段階に分割され、それぞれに異なるリソースが必要になる場合があります。依存関係を使用すると、リソース要件が異なる 3 つのタスクを作成できます。この場合、後続の各タスクは前のタスクに依存します。

[[229635]]

一般的なワークフローエンジンをサポート

AWS Batch は、Pegasus WMS や Luigi などの商用オープンソースワークフローエンジンおよび言語と統合され、使い慣れたワークフロー言語を使用してバッチコンピューティングパイプラインをモデル化できます。

[[229636]]

動的なコンピューティングリソースのプロビジョニングと拡張

AWS Batch は、送信されたジョブのボリュームとリソース要件に基づいてコンピューティングリソースを動的にプロビジョニングおよびスケーリングするマネージドコンピューティング環境を提供します。 EC2 インスタンスタイプ、VPC サブネット構成、すべてのインスタンスの最小/最大/ベース vCPU、スポット入札など、要件に基づいて AWS Batch マネージドコンピューティング環境を構成できます。

さらに、AWS Batch 管理対象コンピューティングリソースで提供されるものとは異なる EC2 インスタンス構成 (より大きな EBS ボリュームや別のオペレーティングシステムなど) が必要な場合は、AWS Batch 管理対象外コンピューティングリソースで独自のコンピューティングリソースをプロビジョニングおよび管理できます。 Amazon ECS エージェントを使用して EC2 インスタンスをプロビジョニングし、サポートされているバージョンの Linux と Docker を実行するだけです。その後、AWS Batch はプロビジョニングした EC2 インスタンス上でバッチジョブを実行します。

[[229637]]

優先度ベースのタスクスケジューリング

AWS Batch を使用すると、優先順位の異なる複数のキューを設定できます。タスクのバッチは、実行するためのコンピューティング リソースが利用可能になるまでキューに保存されます。 AWS Batch スケジューラは、各タスクのリソース要件に基づいて、キューに送信されたタスクをいつ、どこで、どのように実行するかを評価します。スケジューラは各キューの優先度を評価し、タスク間の依存関係が決定されている限り、最も効率的なコンピューティング リソース (メモリや最適化された CPU など) の優先度に基づいてタスクを実行します。

[[229638]]

ダイナミック入札

AWS Batch を使用すると、Amazon EC2 Spot を簡単に使用して、バッチジョブの実行コストをさらに削減できます。 AWS Batch は、タスクの数とタスクのリソース要件、およびコンピューティングリソースに設定された構成パラメータに基づいて、お客様に代わってスポットインスタンスに動的に入札します。

[[229639]]

統合監視とログ記録

AWS Batch は、AWS マネジメントコンソールにバッチジョブの主要な運用メトリクスを表示します。コンピューティング容量に関連するメトリックや、アクティブ、保留中、完了したタスクを表示できます。タスクログ (STDERR や STDOUT など) は AWS マネジメントコンソールで表示でき、Amazon CloudWatch Logs に書き込むこともできます。

[[229640]]

きめ細かなアクセス制御

AWS Batch は IAM を使用して、Amazon DynamoDB テーブルなど、ジョブがアクセスできる AWS リソースを制御および監視します。さらに、IAM を使用すると、組織内のさまざまなユーザーに対してポリシーを定義することができます。たとえば、管理者はすべての AWS Batch API 操作にフルアクセスでき、開発者はコンピューティング環境の設定とジョブの登録に関連する限定的な権限を持つことができ、エンドユーザーはジョブの送信と削除に必要な権限のみを持つことができます。