Kafka の適用可能なシナリオをネットワーク全体で最も包括的に図解で解説します。

メッセージングシステム

メッセージングシステムは、データプロデューサーの分離や未処理メッセージのキャッシュなど、さまざまなシナリオで使用されます。 Kafka は従来のメッセージングシステムの代替として使用できます。従来のメッセージングシステムと比較して、Kafka はスループットと可用性が優れているため、大規模なメッセージの処理に適しています。

経験則として、メッセージングでは通常、スループット要件は低くなりますが、エンドツーエンドのレイテンシが低くなる可能性があり、多くの場合、Kafka の信頼性の高い耐久性のあるメカニズムに依存します。

この点で、Kafka は従来のメッセージングシステム (ActiveMQ および RabbitMQ) に匹敵します。

ストレージシステム

Kafka に書き込まれたデータはディスクに保存され、冗長バックアップが行われます。 Kafka では、プロデューサーは確認を待つことができます。構成により、すべてのレプリケーションが完了するまで書き込みが成功したとは見なされないようにすることができ、データの可用性が確保されます。

Kafka はストレージを重視しており、クライアントが読み取り位置を独自に制御できるようにします。 Kafka は、高パフォーマンス、低レイテンシ、高可用性のログ送信ストレージを提供できる特別なファイルシステムと考えることができます。

ログ集約

ログシステムには、通常、ログの収集、クリーニング、集約、保存、表示の機能が必要です。 Kafka は、他のログ集約ソリューションの代わりとしてよく使用されます。

Scribe や Flume と比較すると、Kafka は同等に優れたパフォーマンス、より堅牢なスタッキング保証、およびエンドツーエンドの低レイテンシを提供します。ログが記録されるため、Kafka でのログ集約のコストが高くなります。

Kafka はログを実現できます:

クリーニング（コーディングが必要）
集約（信頼性は高いが、ディスクを地上に設置する必要があるため高価）
ストレージ

ELK は人気のあるログ記録システムです。 Kafka の協力により、より成熟したソリューションが実現します。 ELK テクノロジースタックでは、Kafka は主にバッファの役割を果たし、必要に応じてログを収束できます。

写真

システム監視とアラーム

ログ分析システムと同様に、監視とトラブルシューティングのためにシステムメトリックを収集する必要があります。違いは、メトリックは構造化データであるのに対し、ログは非構造化テキストであることです。メトリクスデータは Kafka に送信され、Flink で集計されます。集計データは、リアルタイム監視ダッシュボードや PagerDuty などのアラートシステムによって使用されます。

写真

コミットログ

Kafka は分散システムの外部コミットログとして機能できます。ジャーナルは、ノード間でデータを複製するのに役立ち、障害が発生したノードからデータを回復するための再同期メカニズムとして機能します。

Kafka のログ圧縮機能は、この使用法をサポートするのに役立ちます。

ウェブサイトアクティビティの追跡 - 推奨システム

Kafka の本来の目的は、ユーザー行動追跡パイプラインを、リアルタイムのパブリッシュ/サブスクライブソースのセットに再構築することです。ウェブサイトのアクティビティ (ウェブページの閲覧、検索、その他のユーザー操作) を中央トピックに公開します。各アクティビティタイプはトピックに対応しています。これらのサブスクリプションソースに基づいて、リアルタイム処理、リアルタイム監視、Kafka データの Hadoop またはオフラインデータウェアハウスシステムへのバッチロード、オフラインデータ処理、レポート生成などの一連のユースケースを実現できます。

各ユーザーは Web を閲覧する際に大量のアクティビティ情報を生成するため、アクティビティ追跡データの量は通常非常に大きくなります。（Kafkaの実用化）

Amazon のような電子商取引サイトでは、過去の行動や類似のユーザーを使用して製品の推奨を計算します。次の図は、推奨システムがどのように機能するかを示しています。 Kafka は生のクリックストリームデータを送信し、Flink はそれを処理し、モデルトレーニングはデータレイクからの集約データを使用します。

写真

これにより、各ユーザーに対する推奨事項の関連性を継続的に改善することができます。 Kafka のもう 1 つの重要な使用例は、リアルタイムのクリックストリーム分析です。

ストリーム処理 - Kafka ストリーム API

Kafka コミュニティは、データの生成と消費のメカニズムを提供するだけでは不十分であると考えています。また、ストリーミングデータに対するリアルタイム処理メカニズムも提供する必要があります。

0.10.0.0 以降、Kafka は、Stremrs API を提供することで、軽量でありながら強力なストリーム処理を提供します。実際、ストリーム参照における次のようないくつかの厄介な問題を解決するのに役立つのは、Streams API です。

順序が乱れたデータの処理
コード変更後にデータを再度処理する
ステートフルストリーミング計算を実行する

Streams API のストリーム処理は、入力トピックからデータを消費し、さまざまな処理を実行し、結果をターゲットトピックに書き込むという複数の段階で構成されています。 Streams API は、Kafka が提供するコアプリミティブに基づいて構築されています。入力と出力には Kafka のコンシューマーとプロデューサーを使用し、状態の保存には Kfka を使用します。

ストリーム処理フレームワーク: Flink、spark streaming、Storm は、正統的なストリーム処理フレームワークです。 Kafka は、ストリーム処理において、ストリームストレージとしての役割を果たします。

CDC (変更データキャプチャ)

CDCは、レプリケーションまたはキャッシュ/インデックスの更新のためにデータベースの変更を他のシステムにストリーミングします。
Kafka は、データパイプラインを構築するための優れたツールでもあり、さまざまなソースからデータを取り込み、処理ルールを適用し、データをウェアハウス、データレイク、またはデータグリッドに保存するために使用できます。
以下に示すように、トランザクションログは Kafka に送信され、ElasticSearch、Redis、セカンダリデータベースによって取り込まれます。

写真

画像