最近、Confluent コミュニティが記事を公開しました。この記事では主に、Kafka の将来のバージョン 2.8 で Zookeeper が廃止されることについて説明されており、これは Kafka ユーザーにとって重要な改善点です。以前は、Kafka をデプロイするときに Zookeeper をデプロイする必要がありましたが、現在は Kafka のみをデプロイすれば済みます。 [1] 1. Kafka の紹介Apache Kafka は最初に Linkedin によって開発され、後に Apack Foundation に寄贈されました。 Kafka は分散ストリーム処理プラットフォームとして正式に定義されており、高いスループット、永続性、水平スケーラビリティを備えているため広く使用されています。現在、Kafka には次の特定の機能があります。
次の図はKafkaのメッセージモデルを示しています。[2] 上の図を通して、Kafka のいくつかの主要な概念を紹介します。
2. Kafka と Zookeeper の関係Kafka のアーキテクチャは次のとおりです。 図からわかるように、Kafka の作業には Zookeeper の協力が必要です。それで、それらはどのように連携するのでしょうか? 下の写真をご覧ください。 1. 登録センター1) ブローカー登録上図からわかるように、ブローカー分散展開では、統一管理のために登録センターが必要です。 Zookeeper は、ブローカー サービス リスト (/brokers/ids) を保存するために専用のノードを使用します。 ブローカーが起動すると、Zookeeper に登録要求が送信されます。 Zookeeper は、/brokers/ids の下に /brokers/ids/[0...N] などのブローカー ノードを作成し、ブローカーの IP アドレスとポートを保存します。 このノードは一時ノードです。ブローカーがダウンすると、この一時ノードは自動的に削除されます。 2) トピック登録Zookeeper はトピックに個別のノードも割り当て、各トピックは /brokers/topics/[topic_name] の形式で Zookeeper に記録されます。 トピックのメッセージは複数のパーティションに保存され、これらのパーティションとブローカー間の対応も Zookeeper に保存する必要があります。 パーティションは複数のコピーで保存されます。上図の赤いパーティションはリーダーコピーです。リーダー レプリカが配置されているブローカーに障害が発生した場合、パーティションはリーダーを再選出する必要があり、これは Zookeeper によって実行される必要があります。 ブローカーが起動されると、ブローカー ID が対応するトピック ノードのパーティション リストに登録されます。 次のコマンドを使用して、xxx という名前のトピックとパーティション番号 1 の情報を確認します。
ブローカーが終了すると、Zookeeper は対応するトピックのパーティション リストを更新します。 3) 消費者登録コンシューマー グループも Zookeeper に登録され、Zookeeper は関連データを保存するためにコンシューマー グループにノードを割り当てます。ノード パスは /consumers/{group_id} で、次に示すように 3 つの子ノードがあります。 このようにして、Zookeeper はパーティションとコンシューマーの関係、およびパーティションのオフセットを記録できます。 [3] 2. 負荷分散ブローカーが Zookeeper に登録されると、プロデューサーはブローカー ノードに基づいてブローカー サービス リストの変更を認識し、動的な負荷分散を実現します。 コンシューマー グループ内のコンシューマーは、トピック ノード情報に基づいて特定のパーティションからメッセージをプルし、負荷分散を実現できます。 実際、次の図に示すように、Kafka は Zookeeper に大量のメタデータを保存します。 ブローカー、トピック、パーティションの数が増えるにつれて、保存されるデータの量はますます大きくなります。 3. コントローラの紹介前のセクションの説明から、Kafka は Zookeeper に大きく依存していることがわかります。 Kafka は Zookeeper なしでは独立して実行できません。では、Kafka は Zookeeper とどのようにやり取りするのでしょうか? 以下に示すように:[4] Kafka クラスター内のブローカーが、Zookeeper と対話するコントローラーとして選出されます。 Kafka クラスター全体のすべてのパーティションとレプリカのステータスを管理する役割を担います。他のブローカーは、コントローラー ノード上のデータの変更を監視します。 コントローラーの選択は Zookeeper に依存します。選出が成功すると、Zookeeper は一時的なノード / コントローラーを作成します。 管理者の具体的な責任は次のとおりです。 パーティションの変更を監視する たとえば、パーティションのリーダーに障害が発生すると、コントローラはパーティションの新しいリーダーを選出します。パーティションの ISR セットで変更が検出されると、コントローラはすべてのブローカーにメタデータを更新するように通知します。トピックがパーティションを追加すると、コントローラーがパーティションの再割り当てを担当します。
次の図は、コントローラー、Zookeeper、ブローカー間の相互作用の詳細を示しています。 コントローラーが正常に選出されると、Zookeeper クラスターからメタデータの完全なセットが取得され、ControllerContext が初期化され、このメタデータがコントローラー ノードにキャッシュされます。トピック パーティションの追加など、クラスターが変更されると、コントローラーはローカル キャッシュ データを変更するだけでなく、この変更情報を他のブローカーと同期する必要もあります。 コントローラーは、Zookeeper イベント、スケジュールされたタスク イベント、およびその他のイベントを監視した後、これらのイベントを順番に LinkedBlockingQueue に一時的に保存し、イベント処理スレッドが順番に処理します。これらのプロセスのほとんどは Zookeeper とのやり取りを必要とし、コントローラーは独自のメタデータを更新する必要があります。 4. Zookeeper によって引き起こされる問題Kafka 自体は分散システムですが、それを管理するには別の分散システムが必要であり、間違いなく複雑さが増します。 1. 運用と保守の複雑さZookeeper を使用する場合、Kafka を導入する際に 2 つのシステムを導入する必要があり、Kafka の運用保守担当者は Zookeeper の運用保守能力を備えている必要があります。 2. コントローラ障害処理Kafka は、Zookeeper と対話するために単一のコントローラー ノードに依存します。このコントローラー ノードに障害が発生した場合は、ブローカーから新しいコントローラーを選択する必要があります。下の図に示すように、新しいコントローラーは broker3 になります。 新しいコントローラーが正常に選出されると、初期化のために Zookeeper からメタデータが再度取得され、他のすべてのブローカーに ActiveControllerId を更新するように通知する必要があります。古いコントローラーは、リスニング、イベント処理スレッド、およびスケジュールされたタスクをシャットダウンする必要があります。パーティションの数が非常に多い場合、このプロセスには非常に時間がかかり、このプロセス中は Kafka クラスターは動作できません。 3. パーティションのボトルネックパーティションの数が増えると、Zookeeper に保存されるメタデータの量が増加し、Zookeeper クラスターへの負荷が増加します。一定のレベルに達すると監視の遅延が増加し、Kafka の動作に影響します。 したがって、単一の Kafka クラスターによって実行されるパーティションの数がボトルネックになります。そして、これはまさに一部のビジネス シナリオで必要なことです。 5. アップグレードアップグレード前とアップグレード後のアーキテクチャ図を比較すると、次のようになります。 KIP-500 は、以前のコントローラーを Quorum コントローラーに置き換えます。クォーラム内の各コントローラー ノードはすべてのメタデータを保存し、KRaft プロトコルを通じてレプリカの一貫性を確保します。この方法では、クォーラム コントローラー ノードに障害が発生した場合でも、新しいコントローラーの移行は非常に高速になります。 公式紹介によれば、アップグレード後、Kafka は数百万のパーティションを簡単にサポートできるようになります。 Kafkaチームは、Raftプロトコル(略してKRaft)を介してデータを同期する方法であるKafka Raftメタデータモードと呼んでいます。 Kafka のユーザーベースは非常に大きいため、サービスを停止せずにアップグレードする必要があります。 現在、Zookeeper を削除する Kafka コード KIP-500 がトランク ブランチに送信され、バージョン 2.8 でリリースされています。 Kafka はバージョン 3.0 で Zookeeper Controller および Quorum Controller と互換性を持たせ、ユーザーがグレースケール テストを実行できるようにする予定です。 [5] VI.結論大規模クラスターやクラウドネイティブのコンテキストでは、Zookeeper を使用すると、Kafka の運用と保守、クラスターのパフォーマンスに大きな負担がかかります。 Zookeeper を削除することは避けられない傾向であり、シンプルさというアーキテクチャの考え方にも沿っています。 参考文献 [1]https://www.confluent.io/blog/kafka-without-zookeeper-a-sneak-peek/ [2]https://blog.csdn.net/Zidingyi_367/article/details/110490910 [3]https://www.jianshu.com/p/a036405f989c [4]https://honeypps.com/mq/kafka-controller-analysis/ [5]https://mp.weixin.qq.com/s/ev6NM6hptltQBuTaCHJCQQ |
<<: デジタルトランスフォーメーションの神話とSaaSのチャンス
>>: リソース キューは、AnalyticDB PostgreSQL のリソース管理をどのように実装しますか?
「北斗七星が南東を指し、夏の始まりです。」すべてのものがピーク成長期に入り、人々の消費意欲は徐々に熱...
今朝、ウェブマスターツールを通じて、弊社の中国語遠隔教育ウェブサイトの 1 つを確認しました。ああ!...
AiLeHuo が最初に作成されたとき、それは「Baidu の中間ページ プラットフォームの橋渡し」...
◎O2Oモデルは10年前から存在しているオンラインでの共同購入を皮切りに、新しいコンセプトが立ち上げ...
[51CTO.com クイック翻訳] 多くの IT プロフェッショナルは、クラウドを最適化する方法は...
リーガルネットワーク記者 陳東勝 リーガルネットワーク特派員 李翔商品を探す - 商品の写真を撮る ...
SEO (検索エンジン最適化) 業界には、一見真実のように見える発言が常にたくさんあります。誰もが多...
8月24日、雲啓会議重慶サミットにおいて、重慶銀行とアリババクラウドは共同で「金融インテリジェント変...
locvps は新年に向けて特別オファーをご用意しました。年間支払いの小規模プランで 20% 割引 ...
最近、国際的に権威のある組織であるForresterは、2022年の世界および中国のクラウドコンピュ...
Microsoft は、Windows 365 を通じて、ますます多くの Windows 機能とコン...
今日は中秋節と国慶節の連休明けの初日です。小然古燕飛は9月28日に「百度の1週間のアップデート動向分...
私が SEO 業界に初めて参入した新人だった頃、多くの技術的な障害やボトルネックに遭遇しました。技術...
ショップ キュリアス ホームShop Curiousのパーソナライズされた情報サービスでは、ユーザー...
cmivps は、香港 CMI ラインのすべての VPS を 30% 割引する大規模な春節プロモーシ...