Grafana Tempo による分散トレース

[[389241]]
Grafana Tempo は、新しいオープンソースの大容量分散トレースバックエンドです。

Tempo for Grafana は、Grafana Labs が提供する、使いやすくスケーラブルな分散トレースバックエンドです。 Tempo は Grafana、Prometheus、Loki と統合されており、動作にはオブジェクトストレージのみが必要なので、低コストで簡単に運用できます。

私はこのオープンソースプロジェクトに最初から関わってきたので、Tempo の基本について説明し、クラウドネイティブコミュニティが Tempo に注目している理由を説明します。

分散トレース

アプリケーションに対して行われたリクエストに関するテレメトリデータを収集したいというのはよくあることです。しかし、今日のサーバーでは、通常、単一のアプリケーションが複数のマイクロサービスに分割され、複数の異なるノードで実行される場合があります。

分散トレースは、個別のサービスで構成されている可能性のあるアプリケーションのパフォーマンスに関する詳細な情報を取得する方法です。リクエストがアプリケーションに到着すると、リクエストのライフサイクルの統合ビューが提供されます。 Tempo の分散トレースは、モノリシックアプリケーションまたはマイクロサービスアプリケーションに使用でき、リクエストスコープの情報を提供するため、可観測性の 3 番目の柱となります (他の 2 つはメトリックとログです)。

以下は、アプリケーションのガントチャートを生成する分散トレースシステムの例です。 Jaeger HotROD デモアプリケーションを使用してトレースを生成し、Tempo でホストされている Grafana Cloud に保存します。このグラフは、サービスと機能別に分類されたリクエスト処理時間を示します。

Grafana Tempo のガントチャート

インデックスのサイズを小さくする

トレースには、豊富で明確に定義されたデータモデルに豊富な情報が含まれています。通常、トレースバックエンドとのやり取りには、メタデータセレクター (サービス名や期間など) を使用してトレースをフィルター処理することと、フィルター処理されたトレースを視覚化することの 2 種類があります。

検索を強化するために、ほとんどのオープンソースの分散トレースフレームワークでは、サービス名、操作名、タグ、期間など、トレース内の多くのフィールドにインデックスを付けます。その結果、インデックスが大きくなり、Elasticsearch や Cassandra などのデータベースを使用する必要が生じます。しかし、これらは管理が難しく、大規模に運用するにはコストがかかるため、Grafana Labs の私のチームは、より良いソリューションを考案することに着手しました。

Grafana では、オンコールデバッグワークフローは、メトリックレポートの使用 (アプリケーションのメトリックを保存するために、Prometheus を拡張する Cloud Native Foundation のインキュベートプロジェクトである Cortex を使用) から始まり、問題をドリルダウンし、問題のあるサービスのログを精査し (ログは、ログ用の Prometheus に似た Loki に保存します)、特定のリクエストのトレースを調べます。フィルタリングに必要なすべてのインデックス情報は Cortex と Loki で利用できることがわかりました。ただし、これらのツールを通じてトレースの検出を可能にするための強力な統合と、トレース ID によるキー値の検索を行うための優れたストアが必要でした。

こうしてGrafana Tempoプロジェクトが始まりました。取得したトレース ID に基づいてトレースすることに重点を置くことで、Tempo は依存性が最小限で、大容量、低コストの分散トレースバックエンドとなるように設計されました。

操作が簡単でコスト効率が良い

Tempo はオブジェクトストレージバックエンドを使用しますが、これが唯一の依存関係です。単一バイナリでもマイクロサービスモードでも使用できます (簡単に開始する方法については、リポジトリ内の例を参照してください)。オブジェクトストレージを使用すると、サンプリングなしで大量のアプリケーショントレースを保存することもできます。これにより、100 万件のリクエストのうち 1 件でエラーが発生したり、遅延が長くなったりしたリクエストのトレースが破棄されることがなくなります。

オープンソースツールとの強力な統合

Grafana 7.3 には Tempo データソースが含まれており、Tempo からのトレースを Grafana UI で視覚化できます。さらに、Loki 2.0 の新しいクエリ機能により、Tempo での追跡がさらに簡単になります。 Prometheusとの統合のために、チームは以下のサポートを追加しています。例模範一例として、時系列データに追加できる高カーディナリティのメタデータ情報が挙げられます。メトリックストレージバックエンドはメトリックをインデックス化しませんが、Grafana UI でメトリック値を取得して表示できます。この例ではさまざまなメタデータを保存できますが、このユースケースでは、Tempo との緊密な統合のためにトラッキング ID が保存されます。

この例では、リクエストレイテンシヒストグラムを使用したサンプルの使用法を示します。各サンプルデータポイントは Tempo のトレースにリンクされています。

Tempo での例の使用

メタデータの一貫性

コンテナ化されたアプリケーションとして実行されているアプリケーションによって発行されるテレメトリには、通常、何らかのメタデータが関連付けられています。これには、クラスター ID、名前空間、ポッド IP などが含まれます。これは、必要に応じて情報を提供するのに適していますが、メタデータに含まれる情報を生産的な目的に使用できるとさらに便利です。たとえば、Grafana クラウドエージェントを使用してトレース情報を Tempo にインポートできます。エージェントは、Prometheus サービス検出メカニズムを使用して Kubernetes API からメタデータ情報をポーリングし、アプリケーションによって発行されたクロスドメインデータにこれらのタグを追加します。このメタデータも Loki でインデックス化されるため、メタデータを Loki ラベルセレクターに変換することで、トレースから特定のサービスのログの表示に簡単にジャンプできます。

以下は、Tempo トレースの特定の範囲のログを表示するために使用できる一貫したメタデータの例です。

クラウドネイティブ

Grafana Tempo はコンテナ化されたアプリケーションとして使用でき、Kubernetes や Mesos などのオーケストレーションエンジン上で実行できます。フェッチ/クエリパスのワークロードに応じて、さまざまなサービスを水平方向にスケーリングできます。 Google Cloud Storage、Amazon S3、Tempo Azure Blog Storage などのクラウドネイティブオブジェクトストレージを使用することもできます。詳細については、Tempo ドキュメントのアーキテクチャセクションを参照してください。