K8Sは分散スケジューリングタスクAirflowを展開します

[[437218]]

1. 展開要件

Apache Airflow は以下でテストされています:

注意: MySQL 5.x バージョンでは複数のスケジューラを実行できないか、実行に制限があります。スケジューラのドキュメントを参照してください。 MariaDB はテスト/推奨されていません。

注: Airflow テストには SQLite が使用されます。本番環境では使用しないでください。ローカル開発には、SQLite の最新の安定バージョンを使用することをお勧めします。

PS: この記事では、Airflow 安定バージョン 2.1.4 をデプロイし、Kubernetes はバージョン 1.20.x、PostgreSQL は 12.x を使用し、Helm Charts を使用してデプロイします。

2. Helmチャート構成を生成する

PS: デプロイメントには Helm 3 バージョンを使用してください

# Kubernetes エアフロー名前空間を作成する
$ kubectl名前空間エアフローを作成する
 
 # エアフローチャート倉庫ソースを追加
$ helm リポジトリに apache-airflowを追加しますhttps://airflow.apache.org 
 
 # aiarflowソースを更新
$ helm リポジトリの更新  
 
 # エアフローチャートのすべてのバージョンを表示します (ここでは、エアフロー 2.1.4 であるチャート 1.2.0 をデプロイすることを選択します)
 $ helm リポジトリを検索 apache-airflow/airflow -l 
 
名前チャートバージョン アプリバージョン 説明
apache-airflow/airflow 1.3.0 2.2.1 Apache Airflow をデプロイするための公式 Helm チャート...
 apache-airflow/airflow 1.2.0 2.1.4 Apache Airflow をデプロイするための公式 Helm チャート...
 apache-airflow/airflow 1.1.0 2.1.2 Apache Airflow をデプロイするための公式 Helm チャート...
 apache-airflow/airflow 1.0.0 2.0.2プラットフォームである Apache Airflow をデプロイするためのHelm チャート... 
 
 # エアフローチャートの値を.yamlファイルにエクスポートする
$ helm show values apache-airflow/airflow --version 1.2.0 > airflow_1.2.4_values.yaml

3. エアフロー構成を変更する

3.1 永続ストレージStorageClassを構成する

PS: 高速ストレージにはAlibaba Cloud NASをご利用ください

# StorageClass ファイルを編集する
$ vim alicloud-nas-airflow-test.yaml 
 
 APIバージョン: storage.k8s.io/v1
種類: ストレージクラス
メタデータ:
名前: alicloud-nas-airflow-test
マウントオプション:
  - ロックなし、TCP、ポートなし
  -vers=3
パラメータ:
  ボリュームAs: サブパス
  サーバー: "xxxxx.cn-beijing.extreme.nas.aliyuncs.com:/share/airflow/"  
プロビジョナー: nasplugin.csi.alibabacloud.com
回収ポリシー: 保持
 
 # K8Sに応募する
$ kubectl apply -f alicloud-nas-airflow-test.yaml

3.2 エアフロー Dags ストレージウェアハウス gitSshKey を構成する

# airflow-ssh-secret.yaml ファイルを編集します。まず、shh 公開キーを git プロジェクト リポジトリに追加する必要があります。
 $ vim エアフロー-ssh-シークレット.yaml 
 
 APIバージョン: v1
種類: 秘密
メタデータ:
名前: airflow-ssh-secret
  名前空間: エアフロー
データ：
  #キーはgitSshKeyである必要があります
  gitSshKey: "ssh 秘密鍵、base64"   
 
 # K8Sに応募する
$ kubectl apply -f エアフロー-ssh-secret.yaml

3.3 DockerでPostgreSQL 12をデプロイする

# postgresql ストレージディレクトリを作成する
$ mkdir /data/postgresql_data 
 
 # 起動ファイルを作成する
$ vim docker-compose.yaml 
 
バージョン: "3"   
 
サービス:
  エアフロー-Postgres:
    画像: postgres:12
    再起動: 常に
    コンテナ名: airflow-postgres
    環境：
      TZ: アジア/上海
      POSTGRES_USER: エアフロー
      POSTGRES_パスワード: Airflow123
    ボリューム:
      -/data/postgresql_data:/var/lib/postgresql/data
    ポート:
      - 「5432:5432」   
 
 # postgresql dockerを起動する
$ docker-compose アップ -d

3.4 airflow_1.2.4_values.yaml設定を変更する

PS: この記事の airflow_1.2.4_values.yaml 構成ファイルには 3 つの pvc が必要です。サービスは redis、ワーカー (1 つのワーカーのみがデプロイされますが、複数のワーカーをデプロイできます)、dags です。

設定ファイルが長すぎるため、詳細は掲載しておりません。具体的な内容については、以下のリンクをご参照ください。

https://github.com/yangpeng14/DevOps/blob/master/config_dir/airflow_1.2.4_values.yaml

4. Airfolwを展開する

# Airflow の最初の導入
$ helm インストール airflow apache-airflow/airflow --namespace airflow --version 1.2.0 -f airflow_1.2.4_values.yaml   
 
 # 将来的にエアフロー設定を変更したい場合は、次のコマンドを使用してください
$ helm アップグレード--install airflow apache-airflow/airflow --namespace airflow --version 1.2.0 -f airflow_1.2.4_values.yaml

5. Airflow Ingress Nginxアクセスエントリを構成する

# Ingress nginx 設定ファイルを生成する
$ vim エアフローイングレス.yaml 
 
 APIバージョン: networking.k8s.io/v1
種類: イングレス
メタデータ:
名前: エアフロー
  名前空間: エアフロー
  注釈:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/ssl-redirect: "false"  
    nginx.ingress.kubernetes.io/proxy-connect-timeout : "60 "  
    nginx.ingress.kubernetes.io/proxy-read-timeout : "60 "  
    nginx.ingress.kubernetes.io/proxy-send-timeout: "60"  
仕様:
  ルール:
  - ホスト: "airflow.example.com"  
    http:
      パス:
      - パス： /
        パスタイプ: プレフィックス
        バックエンド:
          サービス：
名前: airflow-webserver
            ポート：
              番号: 8080 
 
 # K8Sに応募する
$ kubectl apply -f エアフローイングレス.yaml