インタビューで必ず聞くこと | Kafka の消費モデルについてお話ししましょうか?

[[442172]]

みなさんこんにちは、Bingheです〜〜

最近、何人かの読者が Toutiao に 2 回目のインタビューを受けに行き、インタビュアーから Kafka に関する質問を受けました。複数の Kafka コンシューマーが、同じトピックの同じパーティションから同時にデータを使用するにはどうすればよいでしょうか?単純な質問のように思えますが、実際には読者を混乱させてしまいました。

今日は、この面接の質問について一緒に話しましょう。さて、今日の話題を始めましょう。

トピック分析

まず、インタビュアーの質問を理解する必要があります。複数の Kafka コンシューマーが、同じトピックの同じパーティションから同時にデータを使用するにはどうすればよいでしょうか?この質問は非常に明白です。複数の Kafka コンシューマーが、同じトピックの同じパーティションから同時にデータを消費できるようにする方法を答える必要があります。

この質問に適切に答えるには、Kafka のコンシューマーグループという概念を理解する必要があります。コンシューマグループは、Kafka がユニキャストとブロードキャストの両方のメッセージモデルを実装するための基礎および手段です。

同じトピックの場合、各コンシューマーグループはこのトピック内のすべてのデータを取得できます。コンシューマーグループ内のすべてのコンシューマーは連携して、Kafka トピック内のすべてのパーティションをサブスクライブし、消費します。ここで、各パーティションは、同じコンシューマーグループ内の 1 つのコンシューマーによってのみ消費されます。

ここでは、理解を深めるために、以下に示すように、Kafka がメッセージを消費する原理の図を描きます。

この図では、トピックは複数のパーティションで構成できます。プロデューサーによって送信されたメッセージは、異なるパーティションに分散されます。消費者は消費者グループに応じてデータを受け取ります。 Kafka は、各パーティション内のメッセージが、同じコンシューマーグループ内の同じコンシューマーによってのみ消費されることを保証します。

繰り返し消費したい場合は、消費する他の消費者グループが必要です。 Zookeerper は、各コンシューマーグループの各トピックの下の各パーティションで消費されたオフセットを保存します。

新しいバージョンの Kafka では、このオフセットが __consumer_offsert というトピックに保存されます。この__consumer_offsertには50個のパーティションがあり、保存するパーティションはコンシューマーグループID %50のハッシュ値によって決定されます。これもZookeeperが大量のデータの読み書きを得意としていないためです。

したがって、コンシューマーグループが複数のコンシューマーを使用して Kafka で同時にメッセージを消費する場合は、複数のスレッドを使用してメッセージを読み取ることができます。 1 つのスレッドは 1 つのコンシューマーインスタンスに相当します。コンシューマーの数がパーティションの数より多い場合、一部のコンシューマースレッドはデータを読み取ることができなくなります。

知識を広げる

ここで、例を見てみましょう。トピック testTopic が groupA によって消費され、別の新しい groupB が testTopic の消費を開始するとします。デフォルトでは、testTopic-groupB のオフセットは 0 ではありませんが、Kafka ではそのようなオフセットは確立されていません。

testTopic トピックにデータがある場合を除き、groupB はデータを受信し、そのデータは最初のデータでもあります。この時点で、--from-beginning が明示的に使用されて 0 から始まるデータを取得しない限り、groupB の Offset は 0 からではなく、新しく初期化された Offset から始まります。