Kafka のコアコンセプトを図解で解説しているので、一目で理解できます。

[[399167]]

画像はPexelsより

1. 基本

[[399168]]

Kafka は、バックエンド サービスが相互に簡単に通信できるようにするストリーム処理システムであり、マイクロサービス アーキテクチャでよく使用されるコンポーネントです。

2. 生産者 消費者

プロデューサー サービス Producer は Kafka にメッセージを送信し、コンシューマー サービス Consumer は Kafka をリッスンしてメッセージを受信します。

サービスはプロデューサーとコンシューマーの両方になることができます。

3. トピック

トピックは、プロデューサーがメッセージを送信する宛先アドレスであり、コンシューマーの監視対象です。

サービスは複数のトピックを監視し、送信できます。

Kafka には [consumer-group] という概念があります。

これは、消費者として機能するサービスのグループです。

コンシューマー グループがメッセージを受信すると、Kafka はメッセージをグループ内のサービスにルーティングします。

これにより、メッセージの負荷のバランスが取れ、コンシューマーの拡張が容易になります。

トピックはメッセージ キューとして機能します。まず、メッセージが送信されました。

メッセージは記録され、キューに保存され、変更することはできません。

次に、このトピックのコンシューマーにメッセージが送信されます。

ただし、メッセージは削除されず、キューに残ります。

メッセージを送信し続けます。

前と同様に、メッセージはコンシューマーに配信され、変更できず、キューに残ります。 (メッセージがキューに留まる時間は、Kafka の設定を変更することで決定できます)

4. パーティション

上記の Topic の説明では、Topic はキューとして扱われます。実際、トピックはパーティションと呼ばれる複数のキューで構成されています。

これにより、トピックを拡張しやすくなります。

プロデューサーがメッセージを送信すると、メッセージはこのトピック内のパーティションにルーティングされます。

コンシューマーはすべてのパーティションをリッスンし、それらすべてからのイベントを消費します。

プロデューサーがメッセージを送信する場合、そのメッセージはデフォルトでトピック指向になります。トピックはどのパーティションに配置するかを決定し、デフォルトではポーリング戦略が使用されます。

同じタイプのメッセージが同じパーティション内に存在するようにトピックを構成することもできます。

たとえば、ユーザー メッセージを処理する場合、特定のユーザーのすべてのメッセージを 1 つのパーティションに配置できます。

たとえば、ユーザー 1 が 3 つのメッセージ (A、B、C) を送信します。デフォルトでは、これらの 3 つのメッセージは異なるパーティション (P1、P2、P3 など) にあります。

設定後、ユーザー 1 のすべてのメッセージが同じパーティション (P1 など) に送信されることが保証されます。

この機能の用途は何ですか?これはメッセージの秩序を保つためです。

異なるパーティション内のメッセージの順序は保証されません。 1 つのパーティション内のメッセージのみが順序付けられます。

5. 建築

Kafka はクラスターベースのアーキテクチャであり、ZooKeeper は重要なコンポーネントです。

ZooKeeper はすべてのトピックとパーティションを管理します。

トピックとパーティションはノードの物理ノードに保存され、ZooKeeper がこれらのノードの保守を担当します。

たとえば、トピックが 2 つあり、それぞれにパーティションが 2 つあります。

これは論理的な形式ですが、Kafka クラスター内の実際のストレージは次のようになります。

トピック A のパーティション #1 には 3 つのコピーがあり、各ノードに分散されています。

これにより、Kafka の信頼性とシステムの回復力が向上します。

3 パーティション #1 では、ZooKeeper はプロデューサーからのメッセージを受信するリーダーを指定します。

他の 2 つのパーティション #1 はフォロワーとして機能し、リーダーが受信したメッセージはフォロワーにコピーされます。

このようにして、各パーティションにはメッセージ データの全量が含まれます。

ノードに障害が発生しても、メッセージの破損を心配する必要はありません。

トピック A とトピック B のすべてのパーティションの分布は次のようになります。

読んでいただきありがとうございます。お役に立てれば幸いです。

編集者：タオ・ジアロン

出典: https://timothystepro.medium.com/visualizing-kafka-20bc384803e7