Kafka 2.8.0 がリリースされ、正式に ZooKeeper から分離しました。

Kafka 2.8.0 がリリースされ、正式に ZooKeeper から分離しました。

[[396989]]

普段からカフカに注目している友人は注目するべきです。 2021年4月19日に、Kafka 2.8.0が正式にリリースされました。

このアップグレードには多くの重要な変更が含まれていますが、最も注目すべきは、Kafka が ZooKeeper を自己管理型の仲裁に置き換えたことです。簡単に言えば、Kafka は ZooKeeper を必要としなくなり、正式に解散することになります。

実際、2019年にはすでに、コミュニティの誰かがKafkaのZookeeperへの依存を排除​​するというアイデアを提案していました。当時は不可能に近いと思われていましたが、みんなが力を合わせて自信に満ち溢れた状態で取り組んだ結果、一歩一歩実現していきました。

バージョン2.8.0は、Kafka Raftメタデータモードとも呼ばれるZooKeeperなしでKafkaを実行できる最初のバージョンとなり、後世に記憶されるバージョンになるかもしれません。

Kafka を初めて使う人の中には、これが何を意味するのか理解できない人もいるかもしれません。

Kafka の大きな利点の 1 つは、高い効率性とスループットを提供できることです。使い始めたばかりの人にとって、ログ送信の基礎となる実装は、最初に習得する必要があるタスクであることがよくあります。

Kafka のコードベースの大部分は、複数のクラスターにわたるログのスケジュール設定、リーダーシップの分散、障害の処理などを担当しています。これにより、Kafka は信頼性の高い分散システムになります。そして、ZooKeeper は分散コードを機能させるための鍵となります。以前のバージョンでは、ZooKeeper は、パーティションが存在できる場所、どのコンポーネントが主要であるかなど、システム内で最も重要な情報を保存する信頼できるメタデータ ストレージを提供していました。

いずれにせよ、ZooKeeper は一貫性のあるログに基づいた特別なファイル システム/トリガー API です。 Kafka は、一貫性のあるログに基づいて構築されたパブリッシュ/サブスクライブ システムです。

この不変の現実は、実際の使用において、オペレーターが 2 つのログ実装、2 つのネットワーク層、および 2 つのセキュリティ実装 (それぞれ異なるツールと監視フックを使用) にわたって通信とパフォーマンスを調整、構成、監視、保護、および評価する必要があることを意味し、システムが非常に複雑になります。

したがって、ZooKeeper との友好的な決別は短期的には多少の痛みを伴うかもしれませんが、Kafka の長期的な開発にとっては害よりも利益をもたらすでしょう。

ZooKeeper からの分離に加えて、このアップデートでは 3 つの新しい機能が追加されています。

  • [KAFKA-10500] - ストリーミングスレッドを開始および停止するためのAPIを追加
  • [KAFKA-10700] - SASL_SSLリスナーを使用した相互TLS認証をサポート
  • [KAFKA-10749] - 接続率によるIP制限を追加

数百もの最適化とバグ修正が行われています。

重要な更新内容は次のとおりです:

  • [KAFKA-5488] - KStream.branch は、既知のインデックスを介してアクセスする必要があるストリームの配列を返さない
  • [KAFKA-6687] - トピックの複数回の読み取りを許可する
  • [KAFKA-6943] - いずれかのスレッドがクラッシュした場合、またはすべてのスレッドがクラッシュした場合に、KS をクリーンにシャットダウンする (オプション)
  • [KAFKA-9023] - プロデューサーネットワーク例外応答でより多くの情報が記録される必要がある
  • [KAFKA-12327] - CompressionType での MethodHandle の使用を削除
  • [KAFKA-12365] - kip-500 ブローカー/コントローラーはブロック API をサポートしていません (現在)
  • [KAFKA-12394] - トピックIDの存在と認証エラーを考慮する
  • [KAFKA-4748] - Streams アプリケーション内のすべてのワーカープロセスを同時にシャットダウンする方法が必要
  • [KAFKA-10722] - 必要のない場合でもタイムスタンプストレージを使用する
  • [KAFKA-10723] - LogManager がシャットダウン中に内部スレッド プールのアクティビティをリークする

具体的な更新内容にご興味がございましたら、公式ウェブサイトに直接ログインしてご確認ください。

https://downloads.apache.org/kafka/2.8.0/RELEASE_NOTES.html

オリジナルリンク: https://mp.weixin.qq.com/s/u79s0Hq3dkXNo00HPTzgdw

<<:  Redis 分散ロック |ブロンズからダイヤモンドまでの5つの進化スキーム

>>:  仮想化: Virtio-Net の基礎

推薦する

Baiduの最適化に関する個人的な意見

Baidu は現在、世界最大の中国の検索エンジンであり、ほとんどのウェブマスターにとって非常に重要な...

ウェブマスターネットワークニュース: 12306 がチケット盗用ソフトウェアをブロック、Alipay ウォレットが財務管理セクションを改善

1.12306はオンラインチケット取得ソフトウェアをブロックします昨日、鉄道旅客乗車券システム監視セ...

タオバオランキングの誤解:上場廃止からの時間が短いほどランキングが高くなる

タオバオの検索ルールが変わり続けているため、多くの人が、上場廃止の時期は基本的に検索ランキングに影響...

ウェブサイトの降格にどう対処すればよいですか?

自分のウェブサイトが降格されると、多くの人は非常に不安になります。私はインターネット上の多くの SE...

エッジコンピューティング + モノのインターネットはどのような火花を散らすのでしょうか?

エッジコンピューティング + IoT クラウド プラットフォームは、大手企業間の強力な協力のハイライ...

医療SEOと一般産業SEOの違い

著者は医療分野の SEO に携わるようになってまだ 1 年ちょっとですが、それ以前は一般産業の SE...

SEM医療ネットワークプロモーション

筆者は2月2日に「医療SEMにおけるWeb編集者の手ほどき」を公開したが、友人から実践は難しいと言わ...

マイクロソフトのタブレット戦略は明確:モバイルオフィスがマーケティングのハイライトに

マイクロソフトの創業者ビル・ゲイツが、IT技術の現在の発展と応用の傾向は、伝統的なPCをタブレットコ...

LinkedIn: 親会社 Microsoft Azure への移行を停止してください。

著者 |趙雲制作 | 51CTO テクノロジースタック (WeChat ID: blog)事情に詳し...

Ctrip の大量コールドデータ シナリオにおける JuiceFS の実践

著者: Miao Cheng は、Ctrip のクラウド ネイティブ R&D エンジニアであ...

PieLayer - 6 ドル / Kvm / 512 m メモリ / 250 g ハードディスク / 1 T トラフィック / ドイツ

PieLayer というホスティング プロバイダーには、特別割引の VPS が 3 つあります。個人...

草の根ウェブマスターのウェブサイトの運営プロセスについてどう思いますか?

今日と明日の百度の調整に直面して、草の根ウェブマスターである私たちに何ができるでしょうか? 私たちに...

locvpsはどうですか? Equinix Hong KongのVPSの詳細レビュー

locvpsはどうですか?香港エクイニクスデータセンターの locvps の VPS はいかがでしょ...

テンセントの内部文書が暴露される:WeChatは左へ、QQは右へ

この記事「WeChatは左へ、QQは右へ」は、かつてワイヤレス部門で働き、現在はモバイル電子商取引の...

Microsoft のインダストリアル クラウド: 単なるサービス パッケージの集まりではない

特定の業界向けにカスタマイズされた、Microsoft の事前統合クラウド サービスは、同社の販売ア...