Kafka の 3 階層アーキテクチャ設計の分析

Kafka コアの問題

Kafka のアーキテクチャを簡単に説明してください。
Kafka はプッシュモードですか、それともプルモードですか?プッシュとプルの違いは何ですか?
Kafka はどのようにメッセージをブロードキャストしますか?
Kafka メッセージは順番通りですか?
Kafka は読み取りと書き込みの分離をサポートしていますか?
Kafka はどのようにして高いデータ可用性を確保するのでしょうか?
Kafka における zookeeper の役割は何ですか?
トランザクションはサポートされていますか?
パーティションの数を減らすことはできますか?

Kafka アーキテクチャの一般的な概念:

建築

プロデューサー: プロデューサーはメッセージを送信する当事者です。プロデューサーはメッセージを作成し、それを Kafka に送信する責任を負います。
消費者: 消費者はメッセージを受信する当事者です。コンシューマーは Kafka に接続してメッセージを受信し、対応するビジネスロジック処理を実行します。
コンシューマーグループ: コンシューマーグループには 1 人以上のコンシューマーを含めることができます。マルチパーティション + マルチコンシューマーモードを使用すると、ダウンストリームデータの処理速度が大幅に向上します。同じコンシューマーグループ内のコンシューマーは、メッセージを繰り返し消費しません。同様に、異なるコンシューマーグループのコンシューマーは、メッセージを送信するときに互いに影響を与えません。 Kafka は、コンシューマーグループを通じてメッセージ P2P モードとブロードキャストモードを実装します。
ブローカー: サービスプロキシノード。 Broker は Kafka のサービスノード、つまり Kafka のサーバーです。
トピック: Kafka 内のメッセージはトピックに分割されます。プロデューサーは特定のトピックにメッセージを送信し、コンシューマーはトピックからのメッセージをサブスクライブして消費する責任を負います。
パーティション: トピックは、複数のパーティションに分割できる論理的な概念です。各パーティションは単一のトピックに属します。同じトピックの下にある異なるパーティションに含まれるメッセージは異なります。パーティションは、ストレージレベルで追加可能なログファイルと見なすことができます。メッセージがパーティションログファイルに追加されると、特定のオフセットが割り当てられます。
オフセット: オフセットは、パーティション内のメッセージの一意の識別子です。 Kafka はこれを使用して、パーティション内のメッセージの順序を確保します。ただし、オフセットはパーティションにまたがりません。つまり、Kafka はトピックの順序ではなくパーティションの順序を保証します。
レプリケーション: レプリケーションは、Kafka がデータの高可用性を保証する方法です。 Kafka の同じパーティションのデータは、複数のブローカー上に複数のコピーとして存在できます。通常、プライマリコピーのみが外部に対して読み取りおよび書き込みサービスを提供します。プライマリコピーが配置されているブローカーがクラッシュしたり、ネットワーク障害が発生したりした場合、Kafka はコントローラーの管理下にある新しいリーダーコピーを再選択して、外部に読み取りおよび書き込みサービスを提供します。
レコード: 実際に Kafka に書き込まれ、読み取ることができるメッセージレコード。各レコードにはキー、値、タイムスタンプが含まれます。

Kafka トピックパーティションレイアウト

テーマ

Kafka はトピックをパーティション化し、パーティションを同時に読み取りおよび書き込みできます。

Kafka コンシューマーオフセット

消費者オフセット

動物園の飼育員

飼育係

ブローカー登録: ブローカーは分散して展開され、互いに独立しています。 Zookeeper は、クラスターに登録されているすべてのブローカーノードを管理するために使用されます。
トピック登録: Kafka では、同じトピックのメッセージは複数のパーティションに分割され、複数のブローカーに分散されます。これらのパーティション情報とブローカーとの対応する関係も Zookeeper によって管理されます。
プロデューサーの負荷分散: 同じトピックメッセージは複数のブローカーに分割されて分散されるため、プロデューサーはこれらの分散ブローカーにメッセージを合理的に送信する必要があります。
コンシューマーの負荷分散: プロデューサーと同様に、Kafka のコンシューマーも、複数のコンシューマーが対応するブローカーサーバーからメッセージを適切に受信できるように、負荷分散する必要があります。各コンシューマーグループには複数のコンシューマーが含まれており、各メッセージはグループ内の 1 つのコンシューマーにのみ送信されます。さまざまなコンシューマーグループは、互いに干渉することなく、独自の特定のトピックでメッセージを消費します。