k8s クラスターでログが更新されない POD を自動的に再起動するための小さな要件

k8s

必要

日々の仕事では、すべてのプロジェクトが完璧というわけではありません。ポッドのステータスは実行中であるが、プログラムが応答しないという状況によく遭遇します。これが起こる理由はたくさんあります。これは、ps を使用してプロセスをチェックするなど、k8s ヘルス チェックが原因である可能性があります。または、プログラムが無限ループに陥っていても終了しない可能性があります。または、ネットワークが切断され、プログラムが再接続できないなどの可能性があります。

理由が何であれ、解決策はありますが、最適化には時間がかかります。完全に解決する前に、問題を解決する必要があります。そこで一時的な解決策を考えました。私の会社のプロジェクト ログが stdout に直接印刷されるため、プログラムが応答しなくなります。より簡単な方法は、ログ出力の時間を決定することです。これに基づいて、ログが長時間出力されないことがわかったときにポッドを再起動するための小さなスクリプトを簡単に作成できます。

アイデア

kubectl logs コマンドを実行して、最後のログ出力のタイムスタンプを確認し、それをサーバーの時間と比較します。差がしきい値より大きい場合は、対応する POD を再起動します。もちろん、これは単なる単純なアイデアであり、ほとんどのシナリオには適用できませんが、コアプロジェクトには多数のリクエストがあるため、私の会社には適しています。ログが 1 分以上更新されない場合、基本的に 100% 問題があると判断できます。

このアイデアは単なる出発点に過ぎませんが、皆さんにインスピレーションを与えることができれば幸いです。もっと良い方法があれば、著者とコミュニケーションをとることもできます。

シンプルな実装

シェルは比較的シンプルで、サーバーと直接やり取りするのもより簡単なので、シェルを使用して記述するだけです。

 #!/bin/sh
 # 現在の UTC 時刻を取得します utc_now=` date -u`
 # 時間をタイムスタンプに変換するtimestamp_now=` date -d "$utc_now" +%s`
関数restart_pod() {
 i in `kubectl get pod -n iot|grep PODNAME|awk '{print $1}' ` ; do
のために 時間  ` kubectl logs --tail=1 --timestamps $i -n iot | でawk '{print $1}'`;do  
            timestamp_pod=`日付-d "$time" +%s`
            遅延=$(($timestamp_now-$timestamp_pod)) echo $i:$delay if [ "$delay" -ge "30" ];それから 
                echo "30 秒以内に Pod $i で最新のログが生成されませんでした。Pod を再起動してください。"  
                echo $i kubectlポッド $i -n iot --force --grace-period=0を削除します 
                curlwxFunc "Pod $i 30 秒以内に最新のログが生成されませんでした。Pod を再起動してください! (本番環境)"  
            fi 完了 完了}関数curlwxFunc() {
    JSON = '{
 "メッセージタイプ" : "テキスト" ,
 "文章" ： {
 「コンテンツ」 : 「'$1'」  
            }
        }'
    curl 'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxx' \
    -H 'コンテンツタイプ:application/json' \
    -d "${JSON}"  
 }ポッドを再起動

スクリプトは非常にシンプルです。まずポッドをクエリし、次にポッドの最後のログの時間を調べて、それをサーバーの時間と比較します。遅延が 30 秒を超えると、ポッドが再起動され、エンタープライズ WeChat インターフェースが呼び出されて通知が送信されます。

追記

この方法は一時的な解決策に過ぎず、根本的な原因を解決するものではありません。症状に対処するには、問題を根本から解決する必要がありますが、これには時間がかかります。問題が解決する前に、まずこの小さなスクリプトを使用して問題に対処してください。皆さんの批判も歓迎します。