この記事はWeChatの公開アカウント「Coder Reading」から転載したもので、著者はCoder Readingです。この記事を転載する場合は、Coder Reading の公開アカウントにご連絡ください。 Kafka は、オープンソースで分散型、スケーラブル、高性能なパブリッシュ/サブスクライブ メッセージング ミドルウェアです。大量のデータを処理するシステムを構築したい場合、Kafka は非常に良い選択肢になります。この記事では、Kakfa に基づいてパブリッシュ/サブスクライブ プログラムを構築する方法について説明します。 Kafka アーキテクチャ このセクションでは、まず Kafka のインフラストラクチャと関連する用語について見てみましょう。一般的に、Kafka は次のコンポーネントで構成されています。
Kafka では、データの基本単位はキーと値のペアであるメッセージです。 Kafkaはすべてのメッセージをbyte[]に変換します。プロデューサー、コンシューマー、クラスターはすべて TCP プロトコルを使用して通信することに注意してください。 Kafka クラスター内の各マシンはブローカーと呼ばれます。クラスターにマシンを簡単に追加して、容量の水平拡張を実現できます。 次の図は、Kafka の基本的なアーキテクチャを示しています。 Kafka のトピックはメッセージの論理的なコレクションを表します。わからない場合は、トピックをカテゴリとして考えることができます。カテゴリの下には自然に分類されたメッセージがあり、これらのメッセージはプロデューサーによって生成されます。 Kafka サーバーには 1 つ以上のトピックが含まれ、各トピックには 1 つ以上のパーティションを含めることができます。パーティションは、順序付けられたメッセージのシーケンスとして定義されます。パーティションが Kafka の動的拡張の鍵となることは注目に値します。つまり、パーティションを複数の Kafka サーバーに分散できます。具体的な操作プロセスは、Kafka のプロデューサーが指定されたトピックにメッセージをプッシュし、トピックをサブスクライブしているコンシューマーがメッセージを取得できることです。 Kafka と RabbitMQ の比較 Kafka と RabbitMQ はどちらも非常に人気のあるオープンソースのメッセージ ミドルウェアです。では、RabbitMQ ではなく Kakfa を選択すべきなのはどのような場合でしょうか?主な考慮事項は次のとおりです。
生産者と消費者の育成 このセクションでは、Kafka のプロデューサーとコンシューマーを構築する方法について説明します。これには、それぞれの役割を果たす 2 つのコンソール プログラムを構築する必要があります。 nuget を使用して kafka-net をインストールできます。コマンドは次のとおりです。
プロデューサーコンソールを構築する
消費者向けコンソールを構築する
最後に、プロデューサー プログラムとコンシューマー プログラムを順番に起動すると、「Welcome to Kafka!」というメッセージが表示されます。コンシューマー コンソールに表示されます。 実際、オープンソースの世界には、RabbitMQ、MSMQ、IBM MQ Series など、メッセージ ミドルウェアが数多く存在します。現在、Kafka はメッセージ ミドルウェアであるだけでなく、ビッグ データ用のストリーミング処理プラットフォームでもあります。 Kafka は、IoT プログラム、ログ集約、その他の低レイテンシで強力なメッセージ保証のシナリオでもよく使用されます。アプリケーションに高速かつスケーラブルなメッセージ ミドルウェアが必要な場合は、Kafka が最適な選択肢となります。 Kafka に関する記事を後ほど共有します。 ネットでApache Kafkaメッセージングを使用する方法 |
<<: IoT アナリティクス: 製造業者の 3 分の 1 がソフトウェアをクラウドに移行する予定
>>: 分散ストレージの技術動向(I):3つのレプリカの欠点
vps.ua はウクライナの商人で、2010 年に設立されました。主な事業は VPS (OpenVZ...
Amazon.com (NASDAQ: AMZN) の Amazon Web Services (A...
システムを更新するときに、W: mdadm: /etc/mdadm/mdadm.conf にアレイが...
月収10万元の起業の夢を実現するミニプログラム起業支援プランここ数日、皆さんのWeiboやMomen...
この記事の著者であるシャオリ姉さんは、 Fanstong の運営に長年の経験があり、Fanstong...
2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っていますデザインは...
一昨日(2013 年 4 月 9 日)、Baidu のアルゴリズムのアップグレードにより、多くの W...
現在、大規模な B2B プラットフォームとしては、Alibaba、China Supply Netw...
知識決済ビジネスは一定の市場があるものの、知名度を上げるのは容易ではありません。一方では、自社の知識...
1. OpenVZ OpenVZ (略して OVZ) は、SWsoft の Virutozzo 仮想...
漫画/趙春青記者の陸燕霞国家著作権局はこのほど、「中華人民共和国著作権法(改正草案)について国民の意...
Burst は、ダラス、ロサンゼルス、マイアミ、スクラントンに複数のデータセンターを持つ、非常にコス...
最近、「セルフメディア」という言葉が話題になっていますが、さまざまな意見があり、それぞれに独自の考え...
著者注: 今日、クラウド コンピューティング ベンダーとその ISV、SI、チャネル、その他のパート...
BandwagonHost はどうですか? この質問を詳細に分解できます: BandwagonHos...