Q: Kafka のアプリケーション シナリオは何ですか?いくつか挙げていただけますか？

Kafka のいくつかのアプリケーション シナリオをまとめてみましょう。

1. ログ処理と分析（最も一般的なシナリオ）

次の図は、典型的な ELK (Elastic-Logstash-Kibana) スタックを示しています。 Kafka は各インスタンスからログ ストリームを効率的に収集します。

ElasticSearch は Kafka からのログを消費し、インデックスを作成します。 Kibana は、ElasticSearch 上で検索および視覚化 UI を提供します。

2. 推奨におけるデータフロー

多くの電子商取引サイトと同様に、ユーザーの過去の行動や類似ユーザーを使用して製品の推奨を計算します。

次の図は、推奨システムがどのように機能するかを示しています。 Kafka は、Flink によって処理される生のクリックストリーム データを送信し、モデル トレーニングではデータ レイクからの集約データを使用します。

これにより、各ユーザーに対する推奨事項の関連性を継続的に改善することができます。 Kafka のもう 1 つの重要な使用例は、リアルタイムのクリックストリーム分析です。

3. システム監視とアラーム

ログ分析システムと同様に、監視とトラブルシューティングのためにシステムメトリックを収集する必要があります。

違いは、メトリックは構造化データであるのに対し、ログは非構造化テキストであることです。メトリクス データは Kafka に送信され、Flink で集計されます。集計データは、リアルタイム監視ダッシュボードとアラート システムによって使用されます。

4. CDC (変更データキャプチャ)

変更データ キャプチャ (CDC) は、レプリケーションまたはキャッシュ/インデックスの更新のためにデータベースの変更を他のシステムにストリーミングします。

Kafka はデータ パイプラインを構築するための優れたツールでもあります。つまり、さまざまなソースからデータを取り込み、処理ルールを適用し、データをウェアハウス、データ レイク、またはデータ グリッドに保存することができます。

たとえば、次の図では、トランザクション ログが Kafka に送信され、ElasticSearch、Redis、セカンダリ データベースによって取り込まれます。

5. システムの移行

レガシー サービスのアップグレードは、古い言語、複雑なロジック、テスト不足などの理由で困難です。メッセージングミドルウェアを活用することでリスクを軽減できます。

次の図の Order サービスをアップグレードするには、古い Order サービスを更新して、Kafka からの入力を消費し、結果を ORDER トピックに書き込みます。新しい注文サービスは同じ入力を消費し、結果を ORDERNEW トピックに書き込みます。

調整サービスは、ORDER と ORDERNEW を比較します。同じであれば、新しいサービスはテストに合格します。

6. イベントソーシング

システム内でイベントを真実のソースとして使用する場合、アプリケーションの状態の保存は一連のイベントとなり、システム内の他のすべてはこれらの永続的かつ不変のイベントに基づいて再計算できます。

イベント ソーシングは、一連のイベントにおける状態の変化をキャプチャすることです。多くの場合、企業は Kafka を主要なイベント ストアとして使用します。障害、ロールバック、または状態の再構築が必要な場合は、いつでも Kafka からイベントを再適用できます。

7. メッセージング

Kafka の最も優れた一般的な使用例の 1 つは、メッセージ キューとして使用することです。 Kafka は、大量のデータを処理できる信頼性が高くスケーラブルなメッセージ キューを提供します。

メッセージを「トピック」に整理することができます。つまり、各メッセージを特定のトピックに公開し、一方で、コンシューマーは 1 つ以上のトピックをサブスクライブして、そこからメッセージを消費することになります。

マイクロサービス間の分離された通信の最大の利点は、システムの複雑さを増したり、ソース コードを変更したりすることなく、いつでもこれらのイベントに新しいサービスを追加できることです。

8. ログを送信する

Kafka は、分散システムの一種の外部コミット ログとして機能します。ジャーナルは、ノード間でデータを複製するのに役立ち、障害が発生したノードからデータを回復するための再同期メカニズムとして機能します。

Kafka のログ圧縮機能は、この使用法をサポートするのに役立ちます。