「カフカの神への道」 - パーティションとグループの消費モードを理解するための 3 つの図

[[355699]]

1 パーティション消費モード

クライアント (任意の言語で記述) は、Kafka によって提供されるプロトコルを直接使用して、サーバーに RPC 要求を送信し、データを取得します。サーバーはクライアントから RPC 要求を受信すると、データを RPC 応答に構築し、クライアントに返します。クライアントは対応する RPC 応答を解析してデータを取得します。

Kafka は多くのプロトコルをサポートしていますが、最も重要なものは次のとおりです。

• メッセージを取得するためのFetchRequestとFetchResponse
• オフセットのOffsetRequestとOffsetResponseを取得する
• オフセットをコミットするための OffsetCommitRequest と OffsetCommitResponse
• メタデータの取得 メタデータ要求とメタデータ応答
• メッセージを生成するための ProducerRequest と ProducerResponse

1.1 パーティション消費モードのサーバー側ソースコードプロセス

消費者モデルの2つのグループ

2.1 プロセス

3 結論

3.1 地域消費モデルの特徴

• 消費トピック、パーティション、オフセットを消費用サーバーにRPCリクエストを送信して指定します。
• オフセットは自分で提出する必要があります
• リーダー切り替えエラーなど、さまざまなエラーを自分で処理する必要があります。
• 消費者の負荷分散戦略を自分で処理する必要がある

3.2 グループ消費パターンの特徴

• 最後に、RPCリクエストをサーバーに送信することで完了します（パーティション消費モードと同じ）。
• グループ消費モードでは、Kafka サーバーはさまざまなエラーを処理し、メッセージをキューに入れてイテレータとしてカプセル化します (キューは FetchedDataChunk オブジェクトです)。クライアントは、メッセージを取得するためにイテレータを反復処理するだけで済みます。
• Kafka サーバーは、クライアントが責任を負うことなく、スケジューラを通じて現在の消費オフセットを定期的に送信します。
• Kafkaサーバーは消費者の負荷分散を処理する
• 監視ツール Kafka Offset Monitor と Kafka Manager はどちらもグループ消費モードに基づいています。

したがって、必要でない限り、グループ消費モードを可能な限り使用してください。

• メッセージ配信のための他のセマンティクスを実装するなど、オフセットを自分で管理する
• ビジネスニーズに応じてさまざまなエラーを自分で処理

この記事はWeChatの公開アカウント「JavaEdge」から転載したものです。下のQRコードからフォローできます。この記事を転載する場合は、JavaEdge 公式アカウントまでご連絡ください。