この記事はWeChatの公開アカウント「Coder Reading」から転載したもので、著者はCoder Readingです。この記事を転載する場合は、Coder Reading の公開アカウントにご連絡ください。 Kafka は、オープンソースで分散型、スケーラブル、高性能なパブリッシュ/サブスクライブ メッセージング ミドルウェアです。大量のデータを処理するシステムを構築したい場合、Kafka は非常に良い選択肢になります。この記事では、Kakfa に基づいてパブリッシュ/サブスクライブ プログラムを構築する方法について説明します。 Kafka アーキテクチャ このセクションでは、まず Kafka のインフラストラクチャと関連する用語について見てみましょう。一般的に、Kafka は次のコンポーネントで構成されています。
Kafka では、データの基本単位はキーと値のペアであるメッセージです。 Kafkaはすべてのメッセージをbyte[]に変換します。プロデューサー、コンシューマー、クラスターはすべて TCP プロトコルを使用して通信することに注意してください。 Kafka クラスター内の各マシンはブローカーと呼ばれます。クラスターにマシンを簡単に追加して、容量の水平拡張を実現できます。 次の図は、Kafka の基本的なアーキテクチャを示しています。 Kafka のトピックはメッセージの論理的なコレクションを表します。わからない場合は、トピックをカテゴリとして考えることができます。カテゴリの下には自然に分類されたメッセージがあり、これらのメッセージはプロデューサーによって生成されます。 Kafka サーバーには 1 つ以上のトピックが含まれ、各トピックには 1 つ以上のパーティションを含めることができます。パーティションは、順序付けられたメッセージのシーケンスとして定義されます。パーティションが Kafka の動的拡張の鍵となることは注目に値します。つまり、パーティションを複数の Kafka サーバーに分散できます。具体的な操作プロセスは、Kafka のプロデューサーが指定されたトピックにメッセージをプッシュし、トピックをサブスクライブしているコンシューマーがメッセージを取得できることです。 Kafka と RabbitMQ の比較 Kafka と RabbitMQ はどちらも非常に人気のあるオープンソースのメッセージ ミドルウェアです。では、RabbitMQ ではなく Kakfa を選択すべきなのはどのような場合でしょうか?主な考慮事項は次のとおりです。
生産者と消費者の育成 このセクションでは、Kafka のプロデューサーとコンシューマーを構築する方法について説明します。これには、それぞれの役割を果たす 2 つのコンソール プログラムを構築する必要があります。 nuget を使用して kafka-net をインストールできます。コマンドは次のとおりです。
プロデューサーコンソールを構築する
消費者向けコンソールを構築する
最後に、プロデューサー プログラムとコンシューマー プログラムを順番に起動すると、「Welcome to Kafka!」というメッセージが表示されます。コンシューマー コンソールに表示されます。 実際、オープンソースの世界には、RabbitMQ、MSMQ、IBM MQ Series など、メッセージ ミドルウェアが数多く存在します。現在、Kafka はメッセージ ミドルウェアであるだけでなく、ビッグ データ用のストリーミング処理プラットフォームでもあります。 Kafka は、IoT プログラム、ログ集約、その他の低レイテンシで強力なメッセージ保証のシナリオでもよく使用されます。アプリケーションに高速かつスケーラブルなメッセージ ミドルウェアが必要な場合は、Kafka が最適な選択肢となります。 Kafka に関する記事を後ほど共有します。 ネットでApache Kafkaメッセージングを使用する方法 |
<<: IoT アナリティクス: 製造業者の 3 分の 1 がソフトウェアをクラウドに移行する予定
>>: 分散ストレージの技術動向(I):3つのレプリカの欠点
テンセントは「批判を求める」ためにSinaにWeiboアカウントを開設した(TechWebの写真)南...
現在、Kubernetes の Pod Horizontal Autoscaler (HPA) ...
ウー・ウェンティンJD.comに続き、今年、別の国内電子商取引会社が米国での上場に向けた道を歩み始め...
ShoveHostは2011年に設立され、同年に商業運営を開始した会社です。カリフォルニア州サンディ...
掲載数が多いほど、ウェブサイトの品質のより良い尺度となるのでしょうか? 以前は、私たち個々のウェブマ...
2018 年のブラック フライデーには期待できるものがあまりないと誰もが言いますが、「ウェブ ホステ...
vpsspace の VPS はすべてセミマネージド型であり、一部のアンマネージド VPS ベンダー...
近年のタレントサイトの発展に関しては、その勢いはますます加速しており、もちろんネット上でよく知られて...
10月1日、マイクロソフトはサンフランシスコでの記者会見で次世代のWindowsオペレーティングシス...
月収10万元の起業の夢を実現するミニプログラム起業支援プランロゴデザインのウェブサイトには多くのユー...
2週間前、私たちはWeiboでオンラインQ&Aイベントを開催し、ウェブマスターからのSEOと...
みなさんこんにちは。私はShi Touです。昨日の記事「企業ウェブサイトの SEO 診断におけるいく...
drserver [3つのサブブランド SugarVPS、AbusiveCores、byteshac...
Hostus(オーストラリア人のオーナーがいるイギリスの会社)は、長い間このイベントに参加していなか...
最近、MediaTemple が月額 10 米ドルでトラフィック制限のない安価な VPS を開始した...