.NET で Kafka を使用する方法

.NET で Kafka を使用する方法

[[386220]]

この記事はWeChatの公開アカウント「Coder Reading」から転載したもので、著者はCoder Readingです。この記事を転載する場合は、Coder Reading の公開アカウントにご連絡ください。

Kafka は、オープンソースで分散型、スケーラブル、高性能なパブリッシュ/サブスクライブ メッセージング ミドルウェアです。大量のデータを処理するシステムを構築したい場合、Kafka は非常に良い選択肢になります。この記事では、Kakfa に基づいてパブリッシュ/サブスクライブ プログラムを構築する方法について説明します。

Kafka アーキテクチャ

このセクションでは、まず Kafka のインフラストラクチャと関連する用語について見てみましょう。一般的に、Kafka は次のコンポーネントで構成されています。

  • Kafka クラスター 1 つ以上のサーバーで構成されるクラスター
  • プロデューサー メッセージを公開するために使用されるコンポーネント。
  • コンシューマー メッセージを取得して処理するコンポーネント。
  • ZooKeeper は、分散環境内の各ノードの構成情報を保存するのによく使用される集中型調整コンポーネントです。

Kafka では、データの基本単位はキーと値のペアであるメッセージです。 Kafkaはすべてのメッセージをbyte[]に変換します。プロデューサー、コンシューマー、クラスターはすべて TCP プロトコルを使用して通信することに注意してください。 Kafka クラスター内の各マシンはブローカーと呼ばれます。クラスターにマシンを簡単に追加して、容量の水平拡張を実現できます。

次の図は、Kafka の基本的なアーキテクチャを示しています。

Kafka のトピックはメッセージの論理的なコレクションを表します。わからない場合は、トピックをカテゴリとして考えることができます。カテゴリの下には自然に分類されたメッセージがあり、これらのメッセージはプロデューサーによって生成されます。

Kafka サーバーには 1 つ以上のトピックが含まれ、各トピックには 1 つ以上のパーティションを含めることができます。パーティションは、順序付けられたメッセージのシーケンスとして定義されます。パーティションが Kafka の動的拡張の鍵となることは注目に値します。つまり、パーティションを複数の Kafka サーバーに分散できます。具体的な操作プロセスは、Kafka のプロデューサーが指定されたトピックにメッセージをプッシュし、トピックをサブスクライブしているコンシューマーがメッセージを取得できることです。

Kafka と RabbitMQ の比較

Kafka と RabbitMQ はどちらも非常に人気のあるオープンソースのメッセージ ミドルウェアです。では、RabbitMQ ではなく Kakfa を選択すべきなのはどのような場合でしょうか?主な考慮事項は次のとおりです。

  • RabbitMQ は、高性能言語 Erlang で書かれています。豊富なルーティング メカニズムと強力なメッセージ確認メカニズムを備えています。 RabbitMQ は視覚的な WebUI インターフェイスも提供しており、これを使用して RabbitMQ の実行ステータスを監視できます。ただし、大規模な展開が必要な場合、RabbitMQ は Kafka ほど適していません。Kafka はパーティションを追加することによってのみ拡張できるためです。
  • RabbitMQ クラスターには典型的なスプリットブレイン問題があり、個別のプラグイン サポート (フェデレーション) を使用する必要があります。
  • Kafka はパフォーマンスにおいて RabbitMQ をはるかに上回ります。単一ノードの Kafka は 1 秒あたり 100,000 件のレコードを処理できますが、RabbitMQ は 1 秒あたり約 20,000 件のレコードしか処理できません。

生産者と消費者の育成

このセクションでは、Kafka のプロデューサーとコンシューマーを構築する方法について説明します。これには、それぞれの役割を果たす 2 つのコンソール プログラムを構築する必要があります。 nuget を使用して kafka-net をインストールできます。コマンドは次のとおりです。

  1. インストールパッケージ kafka-net

プロデューサーコンソールを構築する

  1. 静的void Main(文字列[] 引数)
  2. {
  3. 文字列ペイロード = "Kafka へようこそ!" ;
  4. 文字列トピック = "IDGTestTopic" ;
  5. メッセージ msg = 新しいメッセージ(ペイロード);
  6. URI uri = new Uri( "http://localhost:9092" );
  7. var options = new KafkaOptions(uri);
  8. var router = 新しい BrokerRouter(オプション);
  9. var client = 新しいプロデューサー (ルーター);
  10. client.SendMessageAsync(トピック、新しいリスト<Message> { msg }).Wait();
  11. コンソールの行を読み取ります。
  12. }

消費者向けコンソールを構築する

  1. 静的void Main(文字列[] 引数)
  2. {
  3. 文字列トピック = "IDGTestTopic" ;
  4. URI uri = new Uri( "http://localhost:9092" );
  5. var options = new KafkaOptions(uri);
  6. var router = 新しい BrokerRouter(オプション);
  7. var コンシューマー = 新しいコンシューマー(新しい ConsumerOptions(トピック、ルーター));
  8. foreach (consume.Consume()内の変数メッセージ)
  9. {
  10. Console.WriteLine(Encoding.UTF8.GetString(message.Value));
  11. }
  12. コンソールの行を読み取ります。
  13. }

最後に、プロデューサー プログラムとコンシューマー プログラムを順番に起動すると、「Welcome to Kafka!」というメッセージが表示されます。コンシューマー コンソールに表示されます。

実際、オープンソースの世界には、RabbitMQ、MSMQ、IBM MQ Series など、メッセージ ミドルウェアが数多く存在します。現在、Kafka はメッセージ ミドルウェアであるだけでなく、ビッグ データ用のストリーミング処理プラットフォームでもあります。 Kafka は、IoT プログラム、ログ集約、その他の低レイテンシで強力なメッセージ保証のシナリオでもよく使用されます。アプリケーションに高速かつスケーラブルなメッセージ ミドルウェアが必要な場合は、Kafka が最適な選択肢となります。 Kafka に関する記事を後ほど共有します。

ネットでApache Kafkaメッセージングを使用する方法

<<:  IoT アナリティクス: 製造業者の 3 分の 1 がソフトウェアをクラウドに移行する予定

>>:  分散ストレージの技術動向(I):3つのレプリカの欠点

推薦する

vpsua: 高品質のウクライナ VPS、月額 6.92 ドルから、Windows、PayPal 対応

vps.ua はウクライナの商人で、2010 年に設立されました。主な事業は VPS (OpenVZ...

Amazon AWS、Amazon Polly の中国語サポートを発表

Amazon.com (NASDAQ: AMZN) の Amazon Web Services (A...

/boot が不十分ですW: mdadm: /etc/mdadm/mdadm.conf にアレイが定義されていません。

システムを更新するときに、W: mdadm: /etc/mdadm/mdadm.conf にアレイが...

中国の鯉「新小鯛」の下で、私たちが見るべきはアリペイのスーパーマーケティングだ

月収10万元の起業の夢を実現するミニプログラム起業支援プランここ数日、皆さんのWeiboやMomen...

ウェブサイト構築ではカラーマッチングの原則を強調

2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っていますデザインは...

多くのウェブサイトがブロックされています。保存する準備はできていますか?

一昨日(2013 年 4 月 9 日)、Baidu のアルゴリズムのアップグレードにより、多くの W...

B2Bサイトの収益モデルに関する個人的な分析と意見

現在、大規模な B2B プラットフォームとしては、Alibaba、China Supply Netw...

知識決済業界のグローバルな展望

知識決済ビジネスは一定の市場があるものの、知名度を上げるのは容易ではありません。一方では、自社の知識...

VPS 仮想化アーキテクチャ OpenVZ、KVM、Xen、Hyper-V の違い

1. OpenVZ OpenVZ (略して OVZ) は、SWsoft の Virutozzo 仮想...

新しい著作権法では、ウェブサイトには海賊版コンテンツを確認する義務がないと提案されている。

漫画/趙春青記者の陸燕霞国家著作権局はこのほど、「中華人民共和国著作権法(改正草案)について国民の意...

推奨: $79/Burst-L5520/24G メモリ/1T ハードディスク/5T トラフィック/5IP/IPMI

Burst は、ダラス、ロサンゼルス、マイアミ、スクラントンに複数のデータセンターを持つ、非常にコス...

私たちメディアは私たちメディアではなく、ボランティアメディアであるべきだ

最近、「セルフメディア」という言葉が話題になっていますが、さまざまな意見があり、それぞれに独自の考え...

Google Cloud の市場シェアは 3% に急落する可能性があります。国内大手が10%を取るのは合理的でしょうか?

著者注: 今日、クラウド コンピューティング ベンダーとその ISV、SI、チャネル、その他のパート...

レンガ職人はどうですか

BandwagonHost はどうですか? この質問を詳細に分解できます: BandwagonHos...