Kafka はなぜこんなに速いのでしょうか?

Kafka はなぜこんなに速いのでしょうか?

Kafka は LinkedIn が立ち上げた高スループットの分散メッセージング システムです。簡単に言えば、パブリッシングとサブスクリプションに基づくメッセージ キューです。古いものを見直して新しいものを学び、優れたフレームワークを繰り返し学習することで、必ず何かが得られます。

[[402438]]

画像はPexelsより

アプリケーションシナリオ

Kafka のアプリケーション シナリオは次のとおりです。

  • 非同期分解: 上流と下流の間に強い依存関係がないビジネス関係、または単一の要求に対してすぐに処理する必要のないビジネス。
  • システム バッファリング: 特に処理速度が遅いサービスの場合、サービス システムのスループットの一貫性の問題を解決するのに役立ちます。
  • ピーク除去効果: 短期間に時々発生する極端なトラフィックに対して、バックエンド サービスを保護できます。
  • データ ストリーム処理: リアルタイムのデータ ストリーム処理のために Spark を統合します。

Kafka トポロジー図 (マルチコピー メカニズム)

上図から、Kafka は分散されており、パーティションごとに複数のコピーが存在し、クラスター全体の管理は Zookeeper によって行われていることがわかります。

Kafka コアコンポーネント

① ブローカー

Kafka サーバーはメッセージの保存と転送を担当します。ブローカーは Kafka ノードを表します。ブローカーには複数のトピックを含めることができます。

②トピック

メッセージ カテゴリ。Kafka はトピックに従ってメッセージを分類します。

③パーティション

トピックのパーティション。トピックには複数のパーティションを含めることができ、トピック メッセージは各パーティションに保存されます。

トピックは複数のパーティションに分割できるため、Kafka には並列処理機能が提供されており、これが Kafka の高スループットの理由の 1 つです。

パーティションは物理的に複数のセグメント ファイルで構成され、各セグメントは同じサイズで、順番に読み書きされます (ランダム書き込みが不要なため、Kafka が比較的高速である理由の 1 つでもあります)。

各セグメント データ ファイルは、セグメント内の最小オフセットを使用し、ファイル拡張子は .log になります。オフセット付きのメッセージを検索する場合は、バイナリ検索を使用して、メッセージが配置されているセグメントをすばやく見つけます。

④オフセット

ログ内のメッセージの位置は、パーティション上のメッセージのオフセットとして理解でき、これはメッセージを表す一意のシーケンス番号でもあります。

また、マスターとスレーブ間で同期する必要がある情報でもあります。

⑤プロデューサー

プロデューサーは、Kafka ブローカーにメッセージを送信する役割を担うクライアントです。

⑥消費者

メッセージ コンシューマー。Kafka ブローカーでメッセージを消費する役割を担います。

⑦消費者団体

消費者グループ。各消費者はグループに属している必要があります。 (注: パーティションはグループ内の 1 つのコンシューマーのみが使用でき、コンシューマー グループは相互に影響を与えません。)

⑧飼育係

Kafka クラスターを管理し、クラスター ブローカー、トピック、パーティションなどのメタデータの保存を担当します。また、ブローカーの障害検出、パーティション リーダーの選出、負荷分散などの機能も担当します。

サービスガバナンス

Kafka は分散パブリッシュ/サブスクライブ システムなので、クラスター間でデータの同期と一貫性が実現されれば、Kafka はメッセージを失わないのでしょうか?システムがクラッシュしたときにリーダー選出を実行するにはどうすればよいでしょうか?

①データ同期

Kafka では、パーティションにはリーダーと複数のフォロワーが存在します。プロデューサーがパーティションにデータを書き込む場合、データはリーダーにのみ書き込まれ、その後、データは他のレプリカに複製されます。

各フォロワーは、定期的にリーダーにメッセージを受け取るコンシューマーとして理解できます。データが同期された後にのみ、Kafka はプロデューサーに ACK を返し、メッセージが保存されたことを通知します。

②ISR

Kafka では、パフォーマンスを確保するために、マスターとスレーブのデータを同期するために強力な一貫性方式を使用しません。

代わりに、同期レプリカのリストが維持されます。リーダーは、すべてのフォロワーが同期を完了するまで待つ必要はありません。 ISR 内のフォロワーがデータ同期を完了すると、プロデューサーに ACK を送信し、メッセージの同期が完了したと見なすことができます。

同時に、ISR 内のフォロワーがあまりにも遅れていることが判明した場合は、そのフォロワーは削除されます。

具体的なプロセスは以下のとおりです。

上記のアプローチでは、Kafka がメッセージを失わないことを保証することはできません。 Kafka は、メッセージが最大限失われないようにマルチコピー メカニズムを使用しますが、データがシステム ページ キャッシュに書き込まれているがまだディスクにフラッシュされていない場合、マシンが突然クラッシュしたり電源が失われたりすると、当然メッセージは失われます。

③Kafka障害回復

Kafka は Zookeeper によって管理されるため、ここでの選択メカニズムでは Zab (Zookeeper によって使用される) が使用されます。

  • プロデューサーはリーダーにメッセージを送ります。このとき、リーダーはデータの保存を完了して突然失敗し、プロデューサーに ack を返しません。
  • ZK 選挙を通じて、フォロワーの 1 人がリーダーになります。このとき、プロデューサーは新しいリーダーに再度要求し、データを保存します。

Kafka はなぜこんなに速いのでしょうか?

① ディスクへのシーケンシャル書き込み

Kafka はシーケンシャルディスク書き込みを使用するため、ランダム書き込みに比べてアドレスの検索にかかる時間が短縮されます。 (Kafkaの各パーティションでは、メッセージが順序付けられます)

②ページキャッシュ

Kafka は、通常使用するバッファの代わりに、OS システム内のページ キャッシュを使用します。ページ キャッシュは、実際には馴染みのないものではなく、新しいものでもありません。

Linux でメモリを表示すると、バッファ/キャッシュが表示されることがよくあります。どちらも IO の読み取りと書き込みを高速化するために使用され、読み取りにはキャッシュが使用されます。

つまり、ディスクの内容をキャッシュに読み込むことができるため、アプリケーションはディスクを非常に高速に読み取ることができます。

バフは書き込みに使用されます。ディスク書き込みを開発する場合、通常、バッファに書き込んでからフラッシュすると、非常に高速になります。

Kafka は両方の長所を取り入れています。Kafka は Scala で書かれていますが、Java 仮想マシン上で実行されます。

それにもかかわらず、Kafka は依然として JVM の制限を回避しようとします。ストレージにページ キャッシュを使用するため、JVM の GC によって発生するデータの STW を回避できます。

一方、ページ キャッシュを使用すると、ゼロ コピーも実現できます。これについては、後ほど詳しく説明します。

③ゼロコピー

優れた Netty であれ、他の優れた Java フレームワークであれ、基本的にはゼロ コピーによって CPU コンテキストの切り替えとディスク IO を削減します。

もちろんカフカも例外ではありません。ゼロコピーの概念についてはここでは詳しくは繰り返しませんが、この概念について簡単に紹介したいと思います。

アプリケーションがデータを要求する従来のプロセス:

ここで、従来の方法では、4 つのコピー、2 つの DMA、2 つの CPU が使用され、CPU が 4 回切り替わることが大まかにわかります。

DMA を簡単に理解すると、I/O デバイスとメモリ間でデータを転送するときに、すべてのデータ転送タスクが DMA コントローラに引き渡され、CPU はデータ転送に関連する作業に一切関与しなくなります。

④ゼロコピー方式

最適化により、CPU には 2 つのコンテキスト スイッチと 3 つのデータ コピーしかないことがわかります。

Linux システムでは、システム コール関数「sendfile()」が提供されており、システム コールは、カーネル バッファー内のデータをユーザー状態にコピーするのではなく、ソケット バッファーに直接コピーできます。

⑤分割と細分化

前述したように、Kafka はパーティショニング モードを採用しており、各パーティションは物理セグメントに対応しています。検索時にはバイナリ検索に基づいて素早く見つけることができます。これにより、データ読み取りクエリの効率が向上するだけでなく、並列操作を行う手段も提供されます。

⑥データ圧縮

Kafka は、データに対して Gzip や Snappy などの圧縮プロトコルを提供します。これにより、メッセージ構造が圧縮され、帯域幅とデータ転送の消費が削減されます。

Kafka のインストール

①JDKをインストールする

圧縮パッケージを使用する場合は環境変数を自分で設定する必要があるため、yum を使用して直接インストールすることをお勧めします。現在の Java バージョンを確認する方法を理解しておいてください。

  1. yum -y リスト Java*

必要なバージョンをインストールします。ここでは 1.8 です。

  1. yum インストール java-1.8.0-openjdk-devel.x86_64

インストールが成功したかどうかを確認します。

  1. Java バージョン

②Zookeeperをインストールする

まず、公式 Web サイトにアクセスしてインストール パッケージをダウンロードし、解凍する必要があります。

  1. tar -zxvf zookeeper-3.4.9.tar.gz

必要なのは、このファイルをコピーして zoo.cfg という名前を付け、zoo.cfg で独自の設定を変更することだけです。

  1. cp zoo_sample.cfg zoo.cfg
  2. vim zoo.cfg

主な構成は次のように説明されます。

  1. # Zookeeper の基本単位はミリ秒です。つまり、tickTime は 2000 ミリ秒です。他の Zookeeper 構成では、変換は tickTime に基づいて行われます。
  2. ティックタイム=2000
  3. # クラスター内のフォロワー サーバー (F) とリーダー サーバー (L) 間の初期接続中に許容できるハートビートの最大数 (ティックタイムの数)。
  4. 初期制限=10
  5. #syncLimit: クラスター内のフォロワーサーバー (F) とリーダーサーバー (L) 間のリクエストとレスポンスの間で許容できるハートビートの最大数 (ティックタイムの数)
  6. 同期制限=5
  7. #データ保存フォルダ。 Zookeeperの動作中に保存する必要があるデータは2つあります。1つはスナップショットデータ(永続データ)で、もう1つはトランザクションログです。
  8. データディレクトリ=/tmp/zookeeper
  9. ## クライアントアクセスポート
  10. クライアントポート=2181

環境変数を設定します。

  1. vim ~/.bash_profile
  2. エクスポート ZK=/usr/ローカル/src/apache-zookeeper-3.7.0-bin
  3. エクスポート PATH=$PATH:$ZK/bin
  4. エクスポートPATH
  5. // 起動する
  6. zkServer.sh 開始

以下は起動が成功したことを示しています。

③Kafkaをインストールする

Kafka をダウンロード:

  1. https://www.apache.org/dyn/closer.cgi?path=/kafka/2.8.0/kafka-2.8.0-src.tgz

Kafka をインストールします。

  1. tar -xzvf kafka_2.12-2.0.0.tgzbr

環境変数を設定します。

  1. エクスポート ZK=/usr/ローカル/src/apache-zookeeper-3.7.0-bin
  2. エクスポート PATH=$PATH:$ZK/bin
  3. エクスポート KAFKA=/usr/ローカル/src/kafka
  4. PATH=$PATH:$KAFKA/bin をエクスポートします

Kafka を起動します。

  1. nohup kafka-server-start.sh 独自の設定ファイル path/server.properties &br

完了です!

著者: He Yongkang、Tencent CDG バックエンド R&D エンジニア。

編集者:タオ・ジアロン

出典: 公開アカウント Yunjia コミュニティ (ID: QcloudCommunity) から転載、参照: 「Kafka の詳細な理解: コア設計実践原則」

<<:  エッジコンピューティングとは具体的に何を意味するのでしょうか?

>>:  メモリ管理は2つの部分から成ります: 仮想メモリ管理

推薦する

外部リンクの効果を高めるにはどうすればいいでしょうか?

外部リンクはオフサイト最適化効果を実現するための主な方法の1つと言えます。さらに、関連する外部リンク...

皆様の中秋節が楽しく、家族が幸せでありますように

皆様、楽しい中秋節をお過ごし下さい!今日は役に立つ情報はありませんので、何もすることがなければ、両親...

マイクロソフトの Windows XP が無料ではない理由

概要: Windows XP が廃止された後、Microsoft はなぜ人気の「無料の付加価値サービ...

マルチクラウドの時代には、ロックインのないニュートラルクラウドを採用すべき

2024年の3分の1が過ぎました。周囲の状況を注意深く観察すると、さまざまなクラウド プラットフォー...

Linkerd が新しいバージョン 2.12 にアップグレードされました

Linkerd の最新バージョン 2.12 がリリースされました。この大規模なバージョンでは、Lin...

#ニュース# Virmach が仮想プラットフォームに切り替えようとしています。注意すべき点は次のとおりです。

virmach からの最新ニュース: OpenVZ 仮想化は廃止され、KVM に切り替えられる予定で...

ftlcloud (スーパークラウド): 米国のクラウドサーバー、月額9元から、1Gメモリ/1コア/20gハードディスク/10M帯域幅無制限/10G防御

ftlcloudは現在、夏のプロモーションを実施しています。米国サンノゼデータセンターのクラウドサー...

グリーンウェブサイト最適化の3つの段階

SEO 初心者のウェブマスターの友人の多くは、検索エンジンにブロックされることなく、ウェブサイトを完...

SEOスタッフの離職率が高い理由

数年前、私は大きな敬意を持って SEO 業界に入りました。数年にわたる探求を経て、ようやく SEO ...

パブリッククラウドに安全に移行するための10のステップ

McKinsey & Company の最近の調査によると、クラウド コンピューティングの導...

蘇寧は物流発展のため速達免許を申請、企業の負担増も

国家郵政局の最新の公開情報によると、蘇寧電器は速達業務の運営許可を申請した。蘇寧電器は、JD.com...

多くの場所で百度のエージェントが従業員に360ソフトウェアをアンインストールするよう求めた

新浪科技は8月30日朝、「3B」検索戦争が本格化する中、多くの拠点の百度代理店が社内通知を発行し、会...

元斉森林のブランドマーケティングを説明する12,000語

飲料業界の専門家とコミュニケーションをとる過程で、私たちは一連の興味深い視点を観察しました。巨大飲料...

Kubernetes コンポーネントのトラブルシューティング方法

[[394145]]この記事は、Qiao Ke 氏が執筆した WeChat パブリックアカウント「運...

個人情報保護に関する国家基準が今月初めに施行されたが、電子商取引企業はまだ通知を開始していない。

IT Times記者 ユー・シンフェイ2月1日、ついに待望の「情報セキュリティ技術公共・商業サービス...