Python スクリプトを使用して OpenStack Overcloud の問題を発見する

[[314897]]

LogTool は、オーバークラウドノードの問題の根本原因を見つけるのに役立つ Python スクリプトのセットです。

OpenStack は、オーバークラウドノードとアンダークラウドホスト上に多数のログファイルを保存および管理します。したがって、特に問題の原因がわからない場合は、OSP ログファイルを使用して発生した問題のトラブルシューティングを行うことは簡単ではありません。

このような状況であれば、LogTool を使用すると作業がずっと楽になります。これにより、手動で問題のトラブルシューティングを行うために必要な時間と労力を節約できます。 LogTool は、あいまい文字列マッチングアルゴリズムに基づいており、過去に発生したすべての固有のエラーと警告情報を提供します。ログのタイムスタンプに基づいて、特定の期間 (10 分前、1 時間前、1 日前など) のこの情報をエクスポートできます。

LogTool は Python スクリプトのセットであり、そのメインモジュールPyTool.pyはアンダークラウドホスト上で実行されます。特定の操作モードでは、オーバークラウドログからエラーや警告情報をエクスポートするなど、オーバークラウドノード上で直接実行される他のスクリプトが使用されます。

LogTool は Python 2 と Python 3 の両方をサポートしています。必要に応じて作業ディレクトリを変更できます: LogTool_Python2 または LogTool_Python3。

仕組み

1. オーバークラウドログからエラーと警告をエクスポートする

このモードは、オーバークラウドノードから過去に発生したエラーと警告を抽出するために使用されます。ユーザーは、エラーまたは警告メッセージを抽出するために使用する開始時間とデバッグレベルを指定するよう求められます。たとえば、過去 10 分以内に問題が発生した場合は、その期間のエラーメッセージと警告メッセージのみを抽出できます。

この操作モードでは、結果ファイルを含む各オーバークラウドノードのディレクトリが生成されます。結果として得られるファイルは、オーバークラウドノードからのダウンロードにかかる時間を短縮するために圧縮された単純なテキストファイル ( *.gz ) です。圧縮ファイルを通常のテキストファイルに変換するには、 zcatまたは同様のツールを使用できます。また、Vi の一部のバージョンと Emacs の最近のバージョンでは、圧縮されたデータの読み取りがサポートされています。生成されたファイルはセクションに分割され、下部に目次が含まれます。

LogTool は、標準と非標準の 2 種類のログファイルをすぐに検出できます。標準ファイルでは、各ログ行には、タイムスタンプ、デバッグレベル、情報などの既知の定義済み構造があります。非標準ファイルでは、ログの構造は不明です。たとえば、第三者のログなどが考えられます。目次では、各セクションの「名前 -> 行番号」を見つけることができます。例:

生データ - 標準 OSP ログから抽出されたエラー/警告メッセージ:このセクションには、変更や修正を加えずに抽出されたすべてのエラー/警告メッセージが含まれます。これらのメッセージは、LogTool がファジーマッチング分析に使用する生データです。
統計 - 各標準 OSP ログのエラー/警告の数:このセクションでは、各標準ログファイルのエラーと警告の数を確認できます。この情報は、問題の根本原因をトラブルシューティングするための潜在的なコンポーネントを理解するのに役立ちます。
統計 - 標準 OSP ログファイルごとの一意のメッセージ:このセクションでは、指定されたタイムスタンプ内の一意のエラーメッセージと警告メッセージが提供されます。それぞれの固有のエラーまたは警告の詳細については、生データセクションで同じメッセージを探してください。
統計 - いつでも非標準ログファイルごとに一意のメッセージ:このセクションには、非標準ログファイル内の一意のメッセージが含まれます。残念ながら、LogTool はこれらのログファイルを標準のログファイルと同じ方法で処理することはできません。したがって、「特定の時間」のログ情報を抽出すると、その情報は無視され、過去に作成されたすべての固有のエラー/警告メッセージが表示されます。まず、結果ファイルの下部にある目次までスクロールして、そのセクションを確認します。目次の行インデックスを使用して、関連するセクションにジャンプします。行 3、4、5 の情報が最も重要です。

2. オーバークラウドノードからすべてのログをダウンロードする

すべてのオーバークラウドノードからのログは圧縮され、アンダークラウドホストのローカルディレクトリにダウンロードされます。

3. すべてのオーバークラウドログで文字列を検索する

このパターンは、すべての Overcloud ログでユーザーが指定した文字列を「grep」(検索) します。たとえば、「VM の作成」の失敗したリクエスト ID など、特定のリクエストのすべてのログメッセージを表示したい場合があります。

4. オーバークラウドの現在のCPU、RAM、ディスク使用量を確認する

このモードでは、各オーバークラウドノードの現在の CPU、RAM、ディスク情報が表示されます。

5. ユーザースクリプトを実行する

このモードでは、ユーザーはオーバークラウドノード上で独自のスクリプトを実行できます。たとえば、オーバークラウドのデプロイメントが失敗した場合、問題を解決するには各コントローラーノードで同じプロセスを実行する必要があります。このパターンを使用して、「回避策」スクリプトを実装し、コントローラー上で実行できます。

6. 指定されたタイムスタンプで関連するログのみをダウンロードする

このモードでは、オーバークラウド上の「指定されたタイムスタンプ」の「最終変更時刻」を持つログのみがダウンロードされます。たとえば、エラーが 10 分前に発生した場合、古いログファイルは無関係であるため、ダウンロードする必要はありません。また、一部のバグ報告ツールでは大きなファイルを添付できない (または添付すべきではない) ため、このモードはバグ報告を書くときに役立つ場合があります。

7. アンダークラウドログからエラーと警告情報をエクスポートする

これは上記のモード 1 と同じです。

8. オーバークラウド上の異常なDockerを確認する

このモードは、ノード上の不健全な Docker を検索するために使用されます。

9. OSPログをダウンロードし、LogToolをローカルで実行する

このモードでは、Jenkins またはログストレージ ( cougar11.scl.lab.tlv.redhat.comなど) から OSP ログをダウンロードし、ローカルで分析できます。

10. アンダークラウドでのデプロイメントログの分析

このパターンは、オーバークラウドまたはアンダークラウドのデプロイメント中に何が問題だったかを理解するのに役立ちます。たとえば、 overcloud_deploy.shスクリプトでは、 --logオプションを使用するとデプロイメントログが生成されます。このようなログの問題点は、ログが「わかりにくく」、何が問題なのか理解しにくいことです。特に、詳細度がvv以上に設定されている場合は、ログ内のデータが読みにくくなります。このモードでは、失敗したすべてのタスクに関する詳細な情報が提供されます。

11. Gerrit (Zuul) の失敗ログを分析する

このモードは、Gerrit (Zuul) ログファイルを分析するために使用されます。リモート Gerrit ゲート (HTTP ダウンロード) からすべてのファイルを自動的にダウンロードし、ローカルで分析します。

インストール

LogTool は GitHub で入手できます。次のコマンドを使用して、アンダークラウドホストにクローンを作成します。

 git clone https : //github.com/zahlabut/LogTool.git

このツールは、いくつかの外部 Python モジュールも使用します。

パラミコ

SSH モジュールは通常、Undercloud にデフォルトでインストールされます。インストールされていることを確認するには、次のコマンドを使用します。

 ls - a / usr / lib / python2 . 7 / site - packages | grep paramiko

モジュールをインストールする必要がある場合は、アンダークラウドで次のコマンドを実行します。

 sudo easy_install pip
 sudo pip install paramiko == 2.1 . 1

美しいスープ

この HTML パーサーモジュールは、ログファイルをダウンロードするために HTTP が使用されるモードでのみ使用されます。これは、Artifacts HTML ページを解析して、その中のすべてのリンクを取得するために使用されます。 BeautifulSoup をインストールするには、次のコマンドを入力します。

 pip install beautifulsoup4

次のコマンドを実行して、requirements.txt ファイルを使用して必要なすべてのモジュールをインストールすることもできます。

 pip install - r requirements . txt

構成

必要なすべてのパラメータは、 PyTool.pyスクリプトで直接設定されます。デフォルト値は次のとおりです。

 overcloud_logs_dir = '/var/log/containers'
 overcloud_ssh_user = 'heat-admin'
 overcloud_ssh_key = '/home/stack/.ssh/id_rsa'
 undercloud_logs_dir = '/var/log/containers'
 source_rc_file_path = '/home/stack/'