flux2+kustomize+helm+github マルチクラスタ GitOps クラウドネイティブ プログレッシブデリバリー

この例では、ステージングと本番の 2 つのクラスターがあるシナリオを想定しています。最終的な目標は、Flux と Kustomize を活用して、重複する宣言を最小限に抑えながら 2 つのクラスターを管理することです。

HelmRepository および HelmRelease カスタム リソースを使用してデモ アプリケーションをインストール、テスト、アップグレードするように Flux を構成します。 Flux は Helm リポジトリを監視し、semver 範囲に基づいて Helm バージョンを最新のチャート バージョンに自動的にアップグレードします。

準備

flux2-kustomize-helmの例

• https://github.com/fluxcd/flux2-kusTOMize-helm-example

Kubernetes クラスター バージョン 1.16 以降と kubectl バージョン 1.18 以降が必要になります。ローカルで素早くテストするには、Kubernetes を使用できます。ただし、他の Kubernetes セットアップでも同様に動作します。

このガイドに従うには、GitHub アカウントとリポジトリを作成できる個人アクセス トークンが必要です (repo のすべての権限を確認してください)。

Homebrew を使用して MacOS および Linux に Flux CLI をインストールします。

 brew をインストールして fluxcd/tap/flux

または、Bash スクリプトを使用して事前コンパイルされたバイナリをダウンロードして CLI をインストールします。

 curl -s https://fluxcd.io/install.sh | sudo バッシュ

プロジェクト構造

Git リポジトリには、次の最上位ディレクトリが含まれています。

• アプリディレクトリには、各クラスターのカスタム構成を持つHelmバージョンが含まれています。
• インフラストラクチャ ディレクトリには、NGINX イングレス コントローラーや Helm リポジトリ定義などの一般的なインフラストラクチャ ツールが含まれています。
• クラスタディレクトリには、各クラスタのFlux設定が含まれています。

 ├── アプリ
│ ├── ベース
│ ├── 制作
│ └── ステージング
├── インフラストラクチャ
│ ├── nginx
 │ ├── レディス
│ └── 出典
└── クラスター
    ├── 生産
    └── ステージング

アプリの構成構造は次のとおりです。

• apps/base/ディレクトリには名前空間とHelmリリース定義が含まれています
• apps/production/ディレクトリには、プロダクションHelmリリース値が含まれています。
• apps/staging/ ディレクトリにはステージング値が含まれています

./アプリ/
 ├── ベース
│ └── ポッドインフォ
│ §── kustomization.yaml
 │ ├── 名前空間.yaml
 │ └── release.yaml
 ├── 生産
│ §── kustomization.yaml
 │ └── podinfo-patch.yaml
 └── ステージング
    ├── kustomization.yaml
    └── podinfo-patch.yaml

apps/base/podinfo/ ディレクトリには、両方のクラスターに共通の値を持つ HelmRelease があります。

 apiバージョン: helm.toolkit.fluxcd.io/v2beta1
種類: HelmRelease
メタデータ:
名前: podinfo
  名前空間: podinfo
仕様:
  リリース名: podinfo
  チャート：
    仕様:
      チャート: podinfo
      ソース参照:
        種類: HelmRepository
名前: podinfo
        名前空間: flux-system
  間隔: 5m
値：
    キャッシュ: redis-master.redis:6379
    進入:
      有効: true  
      注釈:
        kubernetes.io/ingress.class: nginx
      パス： "/*"  

apps/staging/ ディレクトリには、ステージング固有の値を含む Kustomize パッチがあります。

 apiバージョン: helm.toolkit.fluxcd.io/v2beta1
種類: HelmRelease
メタデータ:
名前: podinfo
仕様:
  チャート：
    仕様:
      バージョン: ">=1.0.0-alpha"  
  テスト：
    有効:有効 
値：
    進入:
      ホスト:
        -podinfo.ステージング

バージョン: ">=1.0.0-alpha" では、HelmRelease をアルファ、ベータ、プレリリースを含む最新のチャート バージョンに自動的にアップグレードするように Flux を構成することに注意してください。

apps/production/ ディレクトリには、本番環境固有の値を持つ Kustomize パッチがあります。

 apiバージョン: helm.toolkit.fluxcd.io/v2beta1
種類: HelmRelease
メタデータ:
名前: podinfo
  名前空間: podinfo
仕様:
  チャート：
    仕様:
      バージョン: ">=1.0.0"  
値：
    進入:
      ホスト:
        -podinfo.production

バージョン: ">=1.0.0" では、HelmRelease を最新の安定したチャート バージョンに自動的にアップグレードするように Flux を構成することに注意してください (アルファ、ベータ、プレリリースは無視されます)。

インフラストラクチャー：

 。/インフラストラクチャー/
 ├── nginx
 │ §── kustomization.yaml
 │ ├── 名前空間.yaml
 │ └── release.yaml
 ├── レディス
│ §── kustomization.yaml
 │ ├── 名前空間.yaml
 │ └── release.yaml
 └── 出典
    ├── bitnami.yaml
    ├── kustomization.yaml
    └── podinfo.yaml

Infrastructure/sources/ ディレクトリには、Helm リポジトリの定義があります。

 apiバージョン: source.toolkit.fluxcd.io/v1beta1
種類: HelmRepository
メタデータ:
名前: podinfo
仕様:
  間隔: 5m
  URL: https://stefanprodan.github.io/podinfo
 ---  
 apiバージョン: source.toolkit.fluxcd.io/v1beta1
種類: HelmRepository
メタデータ:
名前: ビットナミ
仕様:
  間隔: 30m
  URL: https://charts.bitnami.com/bitnami

interval: 5m では、Flux が 5 分ごとに Helm リポジトリ インデックスをプルするように構成されていることに注意してください。インデックスに HelmRelease semver 範囲に一致する新しいチャート バージョンが含まれている場合、Flux はそのバージョンをアップグレードします。

ブートストラップのステージングと本番環境

クラスター ディレクトリには Flux 構成が含まれています。

 ./クラスター/
 ├── 生産
│ ├── アプリ.yaml
 │ └── インフラストラクチャ.yaml
 └── ステージング
    ├── アプリ.yaml
    └── インフラストラクチャ.yaml

clusters/staging/ ディレクトリには、Kustomization 定義があります。

 apiバージョン: kustomize.toolkit.fluxcd.io/v1beta1
種類: カスタマイズ
メタデータ:
名前: アプリ
  名前空間: flux-system
仕様:
  間隔: 10分0秒
  依存:
    -名前: インフラストラクチャ
  ソース参照:
    種類: Gitリポジトリ
名前: フラックスシステム
  パス: ./apps/staging
  プルーン: true  
  検証: クライアント
---  
 apiバージョン: kustomize.toolkit.fluxcd.io/v1beta1
種類: カスタマイズ
メタデータ:
名前: インフラストラクチャ
  名前空間: flux-system
仕様:
  間隔: 10分0秒
  ソース参照:
    種類: Gitリポジトリ
名前: フラックスシステム
  パス: ./infrastructure

path: ./apps/staging では、ステージング Kustomize オーバーライドを同期するように Flux を構成し、dependsOn では、アプリケーションをデプロイする前にインフラストラクチャ項目を作成するように Flux に指示することに注意してください。

このリポジトリを個人の GitHub アカウントでフォークし、GitHub アクセス トークン、ユーザー名、リポジトリ名をエクスポートします。

 export GITHUB_TOKEN=<トークン>
 export GITHUB_USER=<ユーザー名>
 export GITHUB_REPO = <リポジトリ名> 

一時クラスターが前提条件を満たしていることを確認します。

フラックスチェック  --前 

kubectl コンテキストをステージング クラスターに設定し、Flux をブートストラップします。

フラックスブートストラップgithub \
 --context=ステージング\  
 --owner=${GITHUB_USER} \  
 --repository=${GITHUB_REPO} \  
 --branch=メイン\  
 - 個人的 \  
 --path=クラスタ/ステージング 

bootstrap コマンドは、clusters/staging/flux-system ディレクトリ内の Flux コンポーネントのマニフェストをコミットし、読み取り専用アクセスを持つ GitHub 上にデプロイ キーを作成して、クラスター内で変更をプルできるようにします。

ステージングにインストールされている Helm リリースに注意してください。

 $ フラックスを監視し、helmreleases --all-namespacesを取得します 
名前空間名リビジョン一時停止準備完了メッセージ
nginx nginx 5.6.14誤り       真のリリース調整が成功しました
podinfo podinfo 5.0.3誤り       真のリリース調整が成功しました
レディス レディス 11.3.4誤り       真のリリース調整が成功しました

デモ アプリが Ingress 経由でアクセスできることを確認します。

 $ kubectl -n nginx ポート転送svc/nginx-ingress-controller 8080:80 & 
 
 $ curl -H "ホスト: podinfo.staging" http://localhost:8080
 {
 「ホスト名」 : 「podinfo-59489db7b5-lmwpn」 、
 「バージョン」 : 「5.0.3」  
 }

本番環境クラスターのコンテキストとパスを設定して、本番環境で Flux をブートストラップします。

フラックスブートストラップgithub \
 --context=プロダクション \  
 --owner=${GITHUB_USER} \  
 --repository=${GITHUB_REPO} \  
 --branch=メイン\  
 - 個人的 \  
 --path=クラスタ/プロダクション 

生産調整を監視する:

 $ フラックスを見て、カスタマイズを取得
名前の修正準備完了
アプリメイン/797cd90cc8e81feb30cfe471a5186b86daf2758d本当 
フラックスシステムメイン/797cd90cc8e81feb30cfe471a5186b86daf2758d真実 
インフラストラクチャ main/797cd90cc8e81feb30cfe471a5186b86daf2758d真実 

Kubernetes シークレットの暗号化

シークレットを Git リポジトリに安全に保存するには、Mozilla の SOPS CLI を使用して、OpenPGP または KMS で Kubernetes シークレットを暗号化できます。

gnupg と sops をインストールします。

 brew gnupg sops をインストール

パスフレーズを指定せずに Flux の GPG キーを生成し、GPG キー ID を取得します。

 $ gpg --full-generate-key  
メールアドレス: [email protected] 
 
 $ gpg --list-secret-keys [email protected]  
秒 rsa3072 2020-09-06 [SC]
      1F3D1CED2F865F5E59CA564553241F147E7C5FA4

秘密キーを使用してクラスター上に Kubernetes シークレットを作成します。

 gpg --export-secret-keys \  
 --アーマー 1F3D1CED2F865F5E59CA564553241F147E7C5FA4 |  
 kubectl はシークレットジェネリック sops-gpgを作成します\
 --namespace=フラックスシステム\  
 --from-file=sops.asc=/dev/stdin  

Kubernetes シークレット マニフェストを生成し、SOP を使用してシークレット データ フィールドを暗号化します。

 kubectl -n redisシークレットジェネリック redis-authを作成します\
 --from-literal=パスワード=変更-me \  
 --dry-run=クライアント\  
 -o yaml > インフラストラクチャ/redis/redis-auth.yaml 
 
 sops --encrypt \  
 --pgp=1F3D1CED2F865F5E59CA564553241F147E7C5FA4 \  
 --encrypted-regex '^(データ|文字列データ)$' \  
 --in-place インフラストラクチャ/redis/redis-auth.yaml  

シークレットをinfrastructure/redis/kustomization.yamlに追加します。

 APIバージョン: kustomize.config.k8s.io/v1beta1
種類: カスタマイズ
名前空間: redis
リソース：
  - 名前空間.yaml
  - リリース.yaml
  - redis-auth.yaml

クラスターで復号化を有効にするには、infrastructure.yaml ファイルを編集します。

 apiバージョン: kustomize.toolkit.fluxcd.io/v1beta1
種類: カスタマイズ
メタデータ:
名前: インフラストラクチャ
  名前空間: flux-system
仕様:
  #簡潔にするため内容を省略
  復号化:
    プロバイダー: sops
    シークレットRef:
名前: sops-gpg

リポジトリにアクセスできるすべてのユーザーがシークレットを暗号化することはできても、復号化はできないように、公開キーをエクスポートします。

 gpg --export -a [email protected] > 公開キー 

変更をマスター ブランチにプッシュします。

 git add -A && git commit -m "暗号化されたシークレットを追加" && git push

両方のクラスターの redis 名前空間にシークレットが作成されたことを確認します。

 kubectl --context ステージング -n redis シークレットを取得する 
 kubectl --context production -n redis シークレットを取得する 

Kubernetes シークレットを使用して、Helm リリースに値を提供できます。

 apiバージョン: helm.toolkit.fluxcd.io/v2beta1
種類: HelmRelease
メタデータ:
名前: レディス
仕様:
  #簡潔にするため内容を省略
値：
    パスワードの使用: true  
  値:
  - 種類: 秘密
名前: redis-auth
    値キー:パスワード 
    targetPath:パスワード 

Helm リリース値のオーバーライドの詳細については、ドキュメントを参照してください。

クラスターの追加

クラスターをフリートに追加する場合は、まずリポジトリをローカルにクローンします。

 git クローン https://github.com/${GITHUB_USER}/${GITHUB_REPO}.git
 ${GITHUB_REPO} をコピーします

クラスターの名前でクラスター内にディレクトリを作成します。

 mkdir -p クラスタ/dev

ステージングから同期マニフェストをコピーします。

 cp クラスター/ステージング/インフラストラクチャ.yaml クラスター/dev
 cp クラスター/ステージング/apps.yaml クラスター/dev

アプリ内に開発オーバーレイを作成するには、clusters/dev/apps.yaml の spec.path を path: ./apps/dev に変更してください。

変更をマスター ブランチにプッシュします。

 git add -A && git commit -m "開発クラスターを追加" && git push

kubectl コンテキストとパスを開発クラスターに設定し、Flux をブートストラップします。

フラックスブートストラップgithub \
 --context=dev \  
 --owner=${GITHUB_USER} \  
 --repository=${GITHUB_REPO} \  
 --branch=メイン\  
 - 個人的 \  
 --path=クラスタ/dev  

同じ環境

同一の環境を開始する場合は、production-clone などのクラスターをブートストラップし、production 定義を再利用できます。

プロダクションクローン クラスターを起動します。

フラックスブートストラップgithub \
 --context=プロダクションクローン \  
 --owner=${GITHUB_USER} \  
 --repository=${GITHUB_REPO} \  
 --branch=メイン\  
 - 個人的 \  
 --path=clusters/production-clone  

変更をローカルにプルします。

 git プルオリジンメイン

clusters/production-clone ディレクトリに kustomization.yaml ファイルを作成します。

 APIバージョン: kustomize.config.k8s.io/v1beta1
種類: カスタマイズ
リソース：
  - フラックスシステム
  - ../production/infrastructor.yaml
  - ../production/apps.yaml

flux-system kustomize オーバーレイに加えて、プロダクション ディレクトリのインフラストラクチャとアプリのマニフェストも含まれていることに注意してください。

変更をマスター ブランチにプッシュします。

 git add -A && git commit -m "本番クローンを追加" && git push

Flux に、production-clone クラスターに実稼働ワークロードをデプロイするように指示します。

フラックス調整カスタム化フラックスシステム\
 --context=プロダクションクローン \  
 --ソース付き