カフカはどんな悪意を持っているのでしょうか?ただ、飼育員にひどく傷つけられただけなのですが...

カフカはどんな悪意を持っているのでしょうか?ただ、飼育員にひどく傷つけられただけなのですが...

最近、Confluent コミュニティが記事を公開しました。この記事では主に、Kafka の将来のバージョン 2.8 で Zookeeper が廃止されることについて説明されており、これは Kafka ユーザーにとって重要な改善点です。以前は、Kafka をデプロイするときに Zookeeper をデプロイする必要がありましたが、現在は Kafka のみをデプロイすれば済みます。 [1]

1. Kafka の紹介

Apache Kafka は最初に Linkedin によって開発され、後に Apack Foundation に寄贈されました。

Kafka は分散ストリーム処理プラットフォームとして正式に定義されており、高いスループット、永続性、水平スケーラビリティを備えているため広く使用されています。現在、Kafka には次の特定の機能があります。

  • メッセージ キュー、Kafka には、システム分離、トラフィック ピークの削減、バッファリング、非同期通信などのメッセージ キューの機能があります。
  • 分散ストレージ システムである Kafka は、メッセージを永続化し、複数のコピーを使用してフェイルオーバーを実装できるため、データ ストレージ システムとして使用できます。
  • リアルタイムデータ処理のために、Kafka は、リアルタイムデータを処理する機能を持つ Kafka Streams や Kafka Connect などのデータ処理に関連するいくつかのコンポーネントを提供します。

次の図はKafkaのメッセージモデルを示しています。[2]

上の図を通して、Kafka のいくつかの主要な概念を紹介します。

  • プロデューサーとコンシューマー: メッセージ キュー内のプロデューサーとコンシューマー。プロデューサーはキューにメッセージをプッシュし、コンシューマーはキューからメッセージをプルします。
  • コンシューマー グループ: 同じトピックの異なるパーティションからのメッセージを並行して消費できるコンシューマーのコレクション。
  • ブローカー: Kafka クラスター内のサーバー。
  • トピック: メッセージ カテゴリ。
  • パーティション: トピックの物理的なグループ化。トピックにはパーティションを設定できます。各パーティション内のメッセージには、オフセットとして順序付けられた ID が割り当てられます。各コンシューマー グループには、パーティションを消費するコンシューマーが 1 つだけ存在します。

2. Kafka と Zookeeper の関係

Kafka のアーキテクチャは次のとおりです。

図からわかるように、Kafka の作業には Zookeeper の協力が必要です。それで、それらはどのように連携するのでしょうか?

下の写真をご覧ください。

1. 登録センター

1) ブローカー登録

上図からわかるように、ブローカー分散展開では、統一管理のために登録センターが必要です。 Zookeeper は、ブローカー サービス リスト (/brokers/ids) を保存するために専用のノードを使用します。

ブローカーが起動すると、Zookeeper に登録要求が送信されます。 Zookeeper は、/brokers/ids の下に /brokers/ids/[0...N] などのブローカー ノードを作成し、ブローカーの IP アドレスとポートを保存します。

このノードは一時ノードです。ブローカーがダウンすると、この一時ノードは自動的に削除されます。

2) トピック登録

Zookeeper はトピックに個別のノードも割り当て、各トピックは /brokers/topics/[topic_name] の形式で Zookeeper に記録されます。

トピックのメッセージは複数のパーティションに保存され、これらのパーティションとブローカー間の対応も Zookeeper に保存する必要があります。

パーティションは複数のコピーで保存されます。上図の赤いパーティションはリーダーコピーです。リーダー レプリカが配置されているブローカーに障害が発生した場合、パーティションはリーダーを再選出する必要があり、これは Zookeeper によって実行される必要があります。

ブローカーが起動されると、ブローカー ID が対応するトピック ノードのパーティション リストに登録されます。

次のコマンドを使用して、xxx​​ という名前のトピックとパーティション番号 1 の情報を確認します。

  1. [root@master] /brokers/topics/xxx/partitions/1/state を取得します
  2. { "controller_epoch" :15、 "leader" :11、 "version" :1、 "leader_epoch" :2、 "isr" :[11,12,13]}

ブローカーが終了すると、Zookeeper は対応するトピックのパーティション リストを更新します。

3) 消費者登録

コンシューマー グループも Zookeeper に登録され、Zookeeper は関連データを保存するためにコンシューマー グループにノードを割り当てます。ノード パスは /consumers/{group_id} で、次に示すように 3 つの子ノードがあります。

このようにして、Zookeeper はパーティションとコンシューマーの関係、およびパーティションのオフセットを記録できます。 [3]

2. 負荷分散

ブローカーが Zookeeper に登録されると、プロデューサーはブローカー ノードに基づいてブローカー サービス リストの変更を認識し、動的な負荷分散を実現します。

コンシューマー グループ内のコンシューマーは、トピック ノード情報に基づいて特定のパーティションからメッセージをプルし、負荷分散を実現できます。

実際、次の図に示すように、Kafka は Zookeeper に大量のメタデータを保存します。

ブローカー、トピック、パーティションの数が増えるにつれて、保存されるデータの量はますます大きくなります。

3. コントローラの紹介

前のセクションの説明から、Kafka は Zookeeper に大きく依存していることがわかります。 Kafka は Zookeeper なしでは独立して実行できません。では、Kafka は Zookeeper とどのようにやり取りするのでしょうか?

以下に示すように:[4]

Kafka クラスター内のブローカーが、Zookeeper と対話するコントローラーとして選出されます。 Kafka クラスター全体のすべてのパーティションとレプリカのステータスを管理する役割を担います。他のブローカーは、コントローラー ノード上のデータの変更を監視します。

コントローラーの選択は Zookeeper に依存します。選出が成功すると、Zookeeper は一時的なノード / コントローラーを作成します。

管理者の具体的な責任は次のとおりです。

パーティションの変更を監視する

たとえば、パーティションのリーダーに障害が発生すると、コントローラはパーティションの新しいリーダーを選出します。パーティションの ISR セットで変更が検出されると、コントローラはすべてのブローカーにメタデータを更新するように通知します。トピックがパーティションを追加すると、コントローラーがパーティションの再割り当てを担当します。

  • トピック関連の変更を監視する
  • ブローカー関連の変更を監視する
  • クラスターメタデータ管理

次の図は、コントローラー、Zookeeper、ブローカー間の相互作用の詳細を示しています。

コントローラーが正常に選出されると、Zookeeper クラスターからメタデータの完全なセットが取得され、ControllerContext が初期化され、このメタデータがコントローラー ノードにキャッシュされます。トピック パーティションの追加など、クラスターが変更されると、コントローラーはローカル キャッシュ データを変更するだけでなく、この変更情報を他のブローカーと同期する必要もあります。

コントローラーは、Zookeeper イベント、スケジュールされたタスク イベント、およびその他のイベントを監視した後、これらのイベントを順番に LinkedBlockingQueue に一時的に保存し、イベント処理スレッドが順番に処理します。これらのプロセスのほとんどは Zookeeper とのやり取りを必要とし、コントローラーは独自のメタデータを更新する必要があります。

4. Zookeeper によって引き起こされる問題

Kafka 自体は分散システムですが、それを管理するには別の分散システムが必要であり、間違いなく複雑さが増します。

1. 運用と保守の複雑さ

Zookeeper を使用する場合、Kafka を導入する際に 2 つのシステムを導入する必要があり、Kafka の運用保守担当者は Zookeeper の運用保守能力を備えている必要があります。

2. コントローラ障害処理

Kafka は、Zookeeper と対話するために単一のコントローラー ノードに依存します。このコントローラー ノードに障害が発生した場合は、ブローカーから新しいコントローラーを選択する必要があります。下の図に示すように、新しいコントローラーは broker3 になります。

新しいコントローラーが正常に選出されると、初期化のために Zookeeper からメタデータが再度取得され、他のすべてのブローカーに ActiveControllerId を更新するように通知する必要があります。古いコントローラーは、リスニング、イベント処理スレッド、およびスケジュールされたタスクをシャットダウンする必要があります。パーティションの数が非常に多い場合、このプロセスには非常に時間がかかり、このプロセス中は Kafka クラスターは動作できません。

3. パーティションのボトルネック

パーティションの数が増えると、Zookeeper に保存されるメタデータの量が増加し、Zookeeper クラスターへの負荷が増加します。一定のレベルに達すると監視の遅延が増加し、Kafka の動作に影響します。

したがって、単一の Kafka クラスターによって実行されるパーティションの数がボトルネックになります。そして、これはまさに一部のビジネス シナリオで必要なことです。

5. アップグレード

アップグレード前とアップグレード後のアーキテクチャ図を比較すると、次のようになります。

KIP-500 は、以前のコントローラーを Quorum コントローラーに置き換えます。クォーラム内の各コントローラー ノードはすべてのメタデータを保存し、KRaft プロトコルを通じてレプリカの一貫性を確保します。この方法では、クォーラム コントローラー ノードに障害が発生した場合でも、新しいコントローラーの移行は非常に高速になります。

公式紹介によれば、アップグレード後、Kafka は数百万のパーティションを簡単にサポートできるようになります。

Kafkaチームは、Raftプロトコル(略してKRaft)を介してデータを同期する方法であるKafka Raftメタデータモードと呼んでいます。

Kafka のユーザーベースは非常に大きいため、サービスを停止せずにアップグレードする必要があります。

現在、Zookeeper を削除する Kafka コード KIP-500 がトランク ブランチに送信され、バージョン 2.8 でリリースされています。

Kafka はバージョン 3.0 で Zookeeper Controller および Quorum Controller と互換性を持たせ、ユーザーがグレースケール テストを実行できるようにする予定です。 [5]

VI.結論

大規模クラスターやクラウドネイティブのコンテキストでは、Zookeeper を使用すると、Kafka の運用と保守、クラスターのパフォーマンスに大きな負担がかかります。 Zookeeper を削除することは避けられない傾向であり、シンプルさというアーキテクチャの考え方にも沿っています。

参考文献

[1]https://www.confluent.io/blog/kafka-without-zookeeper-a-sneak-peek/

[2]https://blog.csdn.net/Zidingyi_367/article/details/110490910

[3]https://www.jianshu.com/p/a036405f989c

[4]https://honeypps.com/mq/kafka-controller-analysis/

[5]https://mp.weixin.qq.com/s/ev6NM6hptltQBuTaCHJCQQ

<<:  デジタルトランスフォーメーションの神話とSaaSのチャンス

>>:  リソース キューは、AnalyticDB PostgreSQL のリソース管理をどのように実装しますか?

推薦する

「ブランド効果の統合」はインターネット広告を台無しにしたのか?

広告業界やマーケティング業界では、ブランド効果の統合に関してさまざまな見解があり、それぞれ独自の意見...

ブロックチェーン + Intel SGX テクノロジー UCloud は信頼できるデータ循環環境を構築します

ブロックチェーン技術は、独自の暗号化およびコンセンサスメカニズムを備えているため、データの宣言や承認...

2022年のクラウドコンピューティング市場動向予測

クラウド コンピューティング市場が今後 1 年間でどこに向かうのか、技術的問題と社会的問題の両方をカ...

FLASHを最適化する方法

みなさんこんにちは。今回の講義のテーマは FLASH を最適化する方法です。時間がないので、ご容赦く...

これらのウェブサイト最適化テクニックを学べば、基本的な操作経験がなくても数秒で SEO マスターになれます!

2月17日、百度は、上海警察がネットユーザーが検索エンジンを使って売春を勧誘していた事件を摘発したと...

2020~2025年のクラウドの5つのトレンド

[[314260]] 2020 年代が正式に始まるにあたり、Oracle は将来のテクノロジーとエン...

華中科技大学の学生が「コンテスト」を主催し、Facebookのプロトタイプを模倣するウェブサイトを立ち上げた

Hust-facemash.com のページでは、毎回 2 人の女の子の写真がランダムに表示され、ネ...

domain.com/netfirms.com - ホスティング 30% オフ/無制限のスペース/無制限のトラフィック/無制限の Web サイト構築

EIG の専門ドメイン名ビジネス ブランド domain.com と仮想ホスティング ブランド ne...

ジェネレーティブAIとソブリンクラウドを有効活用してイノベーションとコンプライアンスのバランスをとる

現在までに世界100カ国以上でデータ保護やデータ主権に関する法律が制定されており、データ主権は企業が...

hostmem: 「618 イベント」ロサンゼルス VPS - 30% オフ、年間 9 ドル、KVM/1G メモリ/1 コア/60g ハードディスク/500g トラフィック

hostmem は 618 年半ばのプロモーションを開始しました。QN ロサンゼルス データ センタ...

Vultrはどうですか? [年] シリコンバレーデータセンター評価データ共有

Vultrはどうですか? Vultrはまだ使えますか? Vultr サーバーは良いですか?今回、Ho...

弾性スケーリングのための5つの条件と6つの教訓をまとめました

序文弾力的なスケーリングは、クラウド コンピューティング時代がもたらしたコア テクノロジーのメリット...

QQグループを利用したプロモーションスキルについての簡単な説明

チャットツールといえば、QQ と MSN が最も一般的です。実際、チャット中に自社の製品情報を宣伝す...

言葉の意味を解説:SEOのスタートラインで勝つ方法

中国文化は歴史が長く、奥深いものです。世界で最も優れた文字体系である漢字は、甲骨文字から現在の印刷文...

民生科技とアリババクラウドが金融業界のデジタルアップグレードの新モデル構築に向けて戦略的提携

6月7日、雲旗会議上海サミットにおいて、中国民生銀行が設立したテクノロジー企業である民生科技有限公司...