最近、Confluent コミュニティが記事を公開しました。この記事では主に、Kafka の将来のバージョン 2.8 で Zookeeper が廃止されることについて説明されており、これは Kafka ユーザーにとって重要な改善点です。以前は、Kafka をデプロイするときに Zookeeper をデプロイする必要がありましたが、現在は Kafka のみをデプロイすれば済みます。 [1] 1. Kafka の紹介Apache Kafka は最初に Linkedin によって開発され、後に Apack Foundation に寄贈されました。 Kafka は分散ストリーム処理プラットフォームとして正式に定義されており、高いスループット、永続性、水平スケーラビリティを備えているため広く使用されています。現在、Kafka には次の特定の機能があります。
次の図はKafkaのメッセージモデルを示しています。[2] 上の図を通して、Kafka のいくつかの主要な概念を紹介します。
2. Kafka と Zookeeper の関係Kafka のアーキテクチャは次のとおりです。 図からわかるように、Kafka の作業には Zookeeper の協力が必要です。それで、それらはどのように連携するのでしょうか? 下の写真をご覧ください。 1. 登録センター1) ブローカー登録上図からわかるように、ブローカー分散展開では、統一管理のために登録センターが必要です。 Zookeeper は、ブローカー サービス リスト (/brokers/ids) を保存するために専用のノードを使用します。 ブローカーが起動すると、Zookeeper に登録要求が送信されます。 Zookeeper は、/brokers/ids の下に /brokers/ids/[0...N] などのブローカー ノードを作成し、ブローカーの IP アドレスとポートを保存します。 このノードは一時ノードです。ブローカーがダウンすると、この一時ノードは自動的に削除されます。 2) トピック登録Zookeeper はトピックに個別のノードも割り当て、各トピックは /brokers/topics/[topic_name] の形式で Zookeeper に記録されます。 トピックのメッセージは複数のパーティションに保存され、これらのパーティションとブローカー間の対応も Zookeeper に保存する必要があります。 パーティションは複数のコピーで保存されます。上図の赤いパーティションはリーダーコピーです。リーダー レプリカが配置されているブローカーに障害が発生した場合、パーティションはリーダーを再選出する必要があり、これは Zookeeper によって実行される必要があります。 ブローカーが起動されると、ブローカー ID が対応するトピック ノードのパーティション リストに登録されます。 次のコマンドを使用して、xxx という名前のトピックとパーティション番号 1 の情報を確認します。
ブローカーが終了すると、Zookeeper は対応するトピックのパーティション リストを更新します。 3) 消費者登録コンシューマー グループも Zookeeper に登録され、Zookeeper は関連データを保存するためにコンシューマー グループにノードを割り当てます。ノード パスは /consumers/{group_id} で、次に示すように 3 つの子ノードがあります。 このようにして、Zookeeper はパーティションとコンシューマーの関係、およびパーティションのオフセットを記録できます。 [3] 2. 負荷分散ブローカーが Zookeeper に登録されると、プロデューサーはブローカー ノードに基づいてブローカー サービス リストの変更を認識し、動的な負荷分散を実現します。 コンシューマー グループ内のコンシューマーは、トピック ノード情報に基づいて特定のパーティションからメッセージをプルし、負荷分散を実現できます。 実際、次の図に示すように、Kafka は Zookeeper に大量のメタデータを保存します。 ブローカー、トピック、パーティションの数が増えるにつれて、保存されるデータの量はますます大きくなります。 3. コントローラの紹介前のセクションの説明から、Kafka は Zookeeper に大きく依存していることがわかります。 Kafka は Zookeeper なしでは独立して実行できません。では、Kafka は Zookeeper とどのようにやり取りするのでしょうか? 以下に示すように:[4] Kafka クラスター内のブローカーが、Zookeeper と対話するコントローラーとして選出されます。 Kafka クラスター全体のすべてのパーティションとレプリカのステータスを管理する役割を担います。他のブローカーは、コントローラー ノード上のデータの変更を監視します。 コントローラーの選択は Zookeeper に依存します。選出が成功すると、Zookeeper は一時的なノード / コントローラーを作成します。 管理者の具体的な責任は次のとおりです。 パーティションの変更を監視する たとえば、パーティションのリーダーに障害が発生すると、コントローラはパーティションの新しいリーダーを選出します。パーティションの ISR セットで変更が検出されると、コントローラはすべてのブローカーにメタデータを更新するように通知します。トピックがパーティションを追加すると、コントローラーがパーティションの再割り当てを担当します。
次の図は、コントローラー、Zookeeper、ブローカー間の相互作用の詳細を示しています。 コントローラーが正常に選出されると、Zookeeper クラスターからメタデータの完全なセットが取得され、ControllerContext が初期化され、このメタデータがコントローラー ノードにキャッシュされます。トピック パーティションの追加など、クラスターが変更されると、コントローラーはローカル キャッシュ データを変更するだけでなく、この変更情報を他のブローカーと同期する必要もあります。 コントローラーは、Zookeeper イベント、スケジュールされたタスク イベント、およびその他のイベントを監視した後、これらのイベントを順番に LinkedBlockingQueue に一時的に保存し、イベント処理スレッドが順番に処理します。これらのプロセスのほとんどは Zookeeper とのやり取りを必要とし、コントローラーは独自のメタデータを更新する必要があります。 4. Zookeeper によって引き起こされる問題Kafka 自体は分散システムですが、それを管理するには別の分散システムが必要であり、間違いなく複雑さが増します。 1. 運用と保守の複雑さZookeeper を使用する場合、Kafka を導入する際に 2 つのシステムを導入する必要があり、Kafka の運用保守担当者は Zookeeper の運用保守能力を備えている必要があります。 2. コントローラ障害処理Kafka は、Zookeeper と対話するために単一のコントローラー ノードに依存します。このコントローラー ノードに障害が発生した場合は、ブローカーから新しいコントローラーを選択する必要があります。下の図に示すように、新しいコントローラーは broker3 になります。 新しいコントローラーが正常に選出されると、初期化のために Zookeeper からメタデータが再度取得され、他のすべてのブローカーに ActiveControllerId を更新するように通知する必要があります。古いコントローラーは、リスニング、イベント処理スレッド、およびスケジュールされたタスクをシャットダウンする必要があります。パーティションの数が非常に多い場合、このプロセスには非常に時間がかかり、このプロセス中は Kafka クラスターは動作できません。 3. パーティションのボトルネックパーティションの数が増えると、Zookeeper に保存されるメタデータの量が増加し、Zookeeper クラスターへの負荷が増加します。一定のレベルに達すると監視の遅延が増加し、Kafka の動作に影響します。 したがって、単一の Kafka クラスターによって実行されるパーティションの数がボトルネックになります。そして、これはまさに一部のビジネス シナリオで必要なことです。 5. アップグレードアップグレード前とアップグレード後のアーキテクチャ図を比較すると、次のようになります。 KIP-500 は、以前のコントローラーを Quorum コントローラーに置き換えます。クォーラム内の各コントローラー ノードはすべてのメタデータを保存し、KRaft プロトコルを通じてレプリカの一貫性を確保します。この方法では、クォーラム コントローラー ノードに障害が発生した場合でも、新しいコントローラーの移行は非常に高速になります。 公式紹介によれば、アップグレード後、Kafka は数百万のパーティションを簡単にサポートできるようになります。 Kafkaチームは、Raftプロトコル(略してKRaft)を介してデータを同期する方法であるKafka Raftメタデータモードと呼んでいます。 Kafka のユーザーベースは非常に大きいため、サービスを停止せずにアップグレードする必要があります。 現在、Zookeeper を削除する Kafka コード KIP-500 がトランク ブランチに送信され、バージョン 2.8 でリリースされています。 Kafka はバージョン 3.0 で Zookeeper Controller および Quorum Controller と互換性を持たせ、ユーザーがグレースケール テストを実行できるようにする予定です。 [5] VI.結論大規模クラスターやクラウドネイティブのコンテキストでは、Zookeeper を使用すると、Kafka の運用と保守、クラスターのパフォーマンスに大きな負担がかかります。 Zookeeper を削除することは避けられない傾向であり、シンプルさというアーキテクチャの考え方にも沿っています。 参考文献 [1]https://www.confluent.io/blog/kafka-without-zookeeper-a-sneak-peek/ [2]https://blog.csdn.net/Zidingyi_367/article/details/110490910 [3]https://www.jianshu.com/p/a036405f989c [4]https://honeypps.com/mq/kafka-controller-analysis/ [5]https://mp.weixin.qq.com/s/ev6NM6hptltQBuTaCHJCQQ |
<<: デジタルトランスフォーメーションの神話とSaaSのチャンス
>>: リソース キューは、AnalyticDB PostgreSQL のリソース管理をどのように実装しますか?
広告業界やマーケティング業界では、ブランド効果の統合に関してさまざまな見解があり、それぞれ独自の意見...
ブロックチェーン技術は、独自の暗号化およびコンセンサスメカニズムを備えているため、データの宣言や承認...
クラウド コンピューティング市場が今後 1 年間でどこに向かうのか、技術的問題と社会的問題の両方をカ...
みなさんこんにちは。今回の講義のテーマは FLASH を最適化する方法です。時間がないので、ご容赦く...
2月17日、百度は、上海警察がネットユーザーが検索エンジンを使って売春を勧誘していた事件を摘発したと...
[[314260]] 2020 年代が正式に始まるにあたり、Oracle は将来のテクノロジーとエン...
Hust-facemash.com のページでは、毎回 2 人の女の子の写真がランダムに表示され、ネ...
EIG の専門ドメイン名ビジネス ブランド domain.com と仮想ホスティング ブランド ne...
現在までに世界100カ国以上でデータ保護やデータ主権に関する法律が制定されており、データ主権は企業が...
hostmem は 618 年半ばのプロモーションを開始しました。QN ロサンゼルス データ センタ...
Vultrはどうですか? Vultrはまだ使えますか? Vultr サーバーは良いですか?今回、Ho...
序文弾力的なスケーリングは、クラウド コンピューティング時代がもたらしたコア テクノロジーのメリット...
チャットツールといえば、QQ と MSN が最も一般的です。実際、チャット中に自社の製品情報を宣伝す...
中国文化は歴史が長く、奥深いものです。世界で最も優れた文字体系である漢字は、甲骨文字から現在の印刷文...
6月7日、雲旗会議上海サミットにおいて、中国民生銀行が設立したテクノロジー企業である民生科技有限公司...