Kafka 2.8.0 がリリースされ、正式に ZooKeeper から分離しました。

[[396989]]

普段からカフカに注目している友人は注目するべきです。 2021年4月19日に、Kafka 2.8.0が正式にリリースされました。

このアップグレードには多くの重要な変更が含まれていますが、最も注目すべきは、Kafka が ZooKeeper を自己管理型の仲裁に置き換えたことです。簡単に言えば、Kafka は ZooKeeper を必要としなくなり、正式に解散することになります。

実際、2019年にはすでに、コミュニティの誰かがKafkaのZookeeperへの依存を排除​​するというアイデアを提案していました。当時は不可能に近いと思われていましたが、みんなが力を合わせて自信に満ち溢れた状態で取り組んだ結果、一歩一歩実現していきました。

バージョン2.8.0は、Kafka Raftメタデータモードとも呼ばれるZooKeeperなしでKafkaを実行できる最初のバージョンとなり、後世に記憶されるバージョンになるかもしれません。

Kafka を初めて使う人の中には、これが何を意味するのか理解できない人もいるかもしれません。

Kafka の大きな利点の 1 つは、高い効率性とスループットを提供できることです。使い始めたばかりの人にとって、ログ送信の基礎となる実装は、最初に習得する必要があるタスクであることがよくあります。

Kafka のコードベースの大部分は、複数のクラスターにわたるログのスケジュール設定、リーダーシップの分散、障害の処理などを担当しています。これにより、Kafka は信頼性の高い分散システムになります。そして、ZooKeeper は分散コードを機能させるための鍵となります。以前のバージョンでは、ZooKeeper は、パーティションが存在できる場所、どのコンポーネントが主要であるかなど、システム内で最も重要な情報を保存する信頼できるメタデータ ストレージを提供していました。

いずれにせよ、ZooKeeper は一貫性のあるログに基づいた特別なファイル システム/トリガー API です。 Kafka は、一貫性のあるログに基づいて構築されたパブリッシュ/サブスクライブ システムです。

この不変の現実は、実際の使用において、オペレーターが 2 つのログ実装、2 つのネットワーク層、および 2 つのセキュリティ実装 (それぞれ異なるツールと監視フックを使用) にわたって通信とパフォーマンスを調整、構成、監視、保護、および評価する必要があることを意味し、システムが非常に複雑になります。

したがって、ZooKeeper との友好的な決別は短期的には多少の痛みを伴うかもしれませんが、Kafka の長期的な開発にとっては害よりも利益をもたらすでしょう。

ZooKeeper からの分離に加えて、このアップデートでは 3 つの新しい機能が追加されています。

• [KAFKA-10500] - ストリーミングスレッドを開始および停止するためのAPIを追加
• [KAFKA-10700] - SASL_SSLリスナーを使用した相互TLS認証をサポート
• [KAFKA-10749] - 接続率によるIP制限を追加

数百もの最適化とバグ修正が行われています。

重要な更新内容は次のとおりです:

• [KAFKA-5488] - KStream.branch は、既知のインデックスを介してアクセスする必要があるストリームの配列を返さない
• [KAFKA-6687] - トピックの複数回の読み取りを許可する
• [KAFKA-6943] - いずれかのスレッドがクラッシュした場合、またはすべてのスレッドがクラッシュした場合に、KS をクリーンにシャットダウンする (オプション)
• [KAFKA-9023] - プロデューサーネットワーク例外応答でより多くの情報が記録される必要がある
• [KAFKA-12327] - CompressionType での MethodHandle の使用を削除
• [KAFKA-12365] - kip-500 ブローカー/コントローラーはブロック API をサポートしていません (現在)
• [KAFKA-12394] - トピックIDの存在と認証エラーを考慮する
• [KAFKA-4748] - Streams アプリケーション内のすべてのワーカープロセスを同時にシャットダウンする方法が必要
• [KAFKA-10722] - 必要のない場合でもタイムスタンプストレージを使用する
• [KAFKA-10723] - LogManager がシャットダウン中に内部スレッド プールのアクティビティをリークする

具体的な更新内容にご興味がございましたら、公式ウェブサイトに直接ログインしてご確認ください。

https://downloads.apache.org/kafka/2.8.0/RELEASE_NOTES.html

オリジナルリンク: https://mp.weixin.qq.com/s/u79s0Hq3dkXNo00HPTzgdw