Kafka はなぜこんなに速いのでしょうか?

システム設計では、メッセージ ミドルウェアは、サービスを非同期にしたり、システムを分離したり、トラフィックのピークを削減したりするために使用されます。よく使われるメッセージミドルウェアには、rabbitMq、activeMq、Alibaba の RocketMq などがあります。それぞれに利点がありますが、スループットの点では kafka が最も優れています。単独の場合、ネットユーザーによる比較は次のようになります。

Kafka はなぜこんなに速いのでしょうか?

パブリッシュ・サブスクライブモデル

一般的なパブリッシュ/サブスクライブ モデルを次の図に示します。

Kafka を例にとると、プロデューサーはメッセージを生成して Kafka クラスターにプッシュし、コンシューマーは Kafka クラスターからデータをアクティブにプルします。このモデルの利点は、消費率が消費者によって完全に制御されることです。 Kafka クラスターはリザーバーに似ており、プロデューサーがメッセージを生成しすぎてコンシューマーがそれを時間内に消費できないためにコンシューマーが圧倒されることを防ぎます。

Kafka が高速である理由は、プロデューサーによって生成されたメッセージがクラスターに書き込まれる速度と、コンシューマーがメッセージを消費するときにクラスターからメッセージが読み取られる速度という 2 つの側面から分析できます。

高速書き込み

高速書き込みの主な理由は、シーケンシャル書き込みと MMFile の 2 つです。

シーケンシャル書き込み

Kafka はメッセージをハードディスクに保存します。ハードディスクの読み書きは遅いと一般的に考えられていますが、Kafka はなぜ速いのでしょうか?ディスクの読み取りと書き込みが遅いということは、通常、ランダム読み取りと書き込みが遅いことを意味します。これは、ディスクがランダム読み取りと書き込みのそれぞれを物理的にアドレス指定する必要があり、非常に時間のかかる操作であるためです。連続的な読み取りと書き込みの速度は依然として比較的高速です。次の図に示すように:

Kafka は新しいメッセージを受信するたびに、そのメッセージを最後に保存し、メッセージを順番に保存します。ただし、一度保存されたメッセージは削除できません。

消費者が消費するときは、順番に消費します。各コンシューマーには、現在消費されているメッセージの位置を記録するためのオフセットがあります。次の図に示すように:

MMファイル

MMFile は、メモリ マッピング テクノロジである Memory Mapped Files の略です。メモリとハードディスクの読み取りおよび書き込み速度の差を解決するために、オペレーティング システムではメモリ マッピング テクノロジを採用しています。メモリは複数のページに分割され、各ページはディスク領域にマップされます。メモリはディスク領域よりはるかに小さいため、ページは先入れ先出し (FIFO)、最近使用されていないもの (LRU) などの特定のアルゴリズムに従ってメモリにロードされることがよくあります。メモリ ページはディスク領域に対応しており、オペレーティング システムは適切な場合にメモリ ページ内のデータを定期的にディスクにフラッシュします。なぜこの方法によって文章作成の効率が向上するのでしょうか?通常、CPU 実行プロセスはセキュリティのためカーネル状態とユーザー状態に分割されます。 iOS デバイスを操作できるのはカーネル状態のみであり、メモリ空間はカーネル空間とユーザー空間に分かれています。通常、メモリ内のデータをディスクに書き込むには、次の手順が必要です。

データはまずユーザー空間からカーネル空間にコピーされ、次にカーネル空間から IO デバイスに書き込まれます。 MMFile は、ユーザー空間からカーネル空間にデータをコピーするコストを節約します。

高速読み取り

高速な読み取り速度は主にゼロコピー技術によるものです。上記は、メモリ空間からディスクにデータを書き込む手順について説明しています。ディスクからデータを読み取る場合は、その逆になります。具体的なプロセスは以下のとおりです。

データは最初にディスクからカーネル空間に読み込まれ、次にカーネル空間からユーザー空間にコピーされ、次にソケットにコピーされ、最後にコンシューマーに送信されます。

Linux は、ディスクからカーネル空間にデータを直接コピーできる sendFile システム コールを提供します。これにより、ユーザー空間からカーネル空間にデータをコピーする必要がなくなります。これはいわゆるゼロコピー技術です。

上記の分析は、読み取りと書き込みの観点から、Kafka のスループットが高い理由を示しています。実は、もう一つ重要な理由があります。

大量データ圧縮

Kafka は各メッセージを圧縮するのではなく、メッセージのバッチを圧縮してデータをまとめて送信します。すべてのメッセージをバッチ ファイルに変換し、消費者に直接送信します。

要約すると、Kafka は MMFile テクノロジーを使用してデータをディスクに順番にすばやく書き込み、ゼロコピー テクノロジーを使用して読み取り時にデータをすばやく読み取り、バッチ データ圧縮を通じてデータをコンシューマーに送信します。これがカフカのスピードの秘密です。しかし、ケーキを食べて、ケーキも残すことはできません。速度と信頼性は同時に満たすことはできず、実際のビジネス状況に基づいて両者の間でトレードオフを行う必要があります。たとえば、ログの集約や Web サイトのユーザー行動の分析に Kafka を使用する場合、信頼性よりも速度が重要になります。メッセージの損失が許されないシナリオでは、信頼性が第一の選択肢となる場合があります。