Kafka のいくつかのアプリケーション シナリオをまとめてみましょう。 1. ログ処理と分析(最も一般的なシナリオ)次の図は、典型的な ELK (Elastic-Logstash-Kibana) スタックを示しています。 Kafka は各インスタンスからログ ストリームを効率的に収集します。 ElasticSearch は Kafka からのログを消費し、インデックスを作成します。 Kibana は、ElasticSearch 上で検索および視覚化 UI を提供します。 2. 推奨におけるデータフロー多くの電子商取引サイトと同様に、ユーザーの過去の行動や類似ユーザーを使用して製品の推奨を計算します。 次の図は、推奨システムがどのように機能するかを示しています。 Kafka は、Flink によって処理される生のクリックストリーム データを送信し、モデル トレーニングではデータ レイクからの集約データを使用します。 これにより、各ユーザーに対する推奨事項の関連性を継続的に改善することができます。 Kafka のもう 1 つの重要な使用例は、リアルタイムのクリックストリーム分析です。 3. システム監視とアラームログ分析システムと同様に、監視とトラブルシューティングのためにシステムメトリックを収集する必要があります。 違いは、メトリックは構造化データであるのに対し、ログは非構造化テキストであることです。メトリクス データは Kafka に送信され、Flink で集計されます。集計データは、リアルタイム監視ダッシュボードとアラート システムによって使用されます。 4. CDC (変更データキャプチャ)変更データ キャプチャ (CDC) は、レプリケーションまたはキャッシュ/インデックスの更新のためにデータベースの変更を他のシステムにストリーミングします。 Kafka はデータ パイプラインを構築するための優れたツールでもあります。つまり、さまざまなソースからデータを取り込み、処理ルールを適用し、データをウェアハウス、データ レイク、またはデータ グリッドに保存することができます。 たとえば、次の図では、トランザクション ログが Kafka に送信され、ElasticSearch、Redis、セカンダリ データベースによって取り込まれます。 5. システムの移行レガシー サービスのアップグレードは、古い言語、複雑なロジック、テスト不足などの理由で困難です。メッセージングミドルウェアを活用することでリスクを軽減できます。 次の図の Order サービスをアップグレードするには、古い Order サービスを更新して、Kafka からの入力を消費し、結果を ORDER トピックに書き込みます。新しい注文サービスは同じ入力を消費し、結果を ORDERNEW トピックに書き込みます。 調整サービスは、ORDER と ORDERNEW を比較します。同じであれば、新しいサービスはテストに合格します。 6. イベントソーシングシステム内でイベントを真実のソースとして使用する場合、アプリケーションの状態の保存は一連のイベントとなり、システム内の他のすべてはこれらの永続的かつ不変のイベントに基づいて再計算できます。 イベント ソーシングは、一連のイベントにおける状態の変化をキャプチャすることです。多くの場合、企業は Kafka を主要なイベント ストアとして使用します。障害、ロールバック、または状態の再構築が必要な場合は、いつでも Kafka からイベントを再適用できます。 7. メッセージングKafka の最も優れた一般的な使用例の 1 つは、メッセージ キューとして使用することです。 Kafka は、大量のデータを処理できる信頼性が高くスケーラブルなメッセージ キューを提供します。 メッセージを「トピック」に整理することができます。つまり、各メッセージを特定のトピックに公開し、一方で、コンシューマーは 1 つ以上のトピックをサブスクライブして、そこからメッセージを消費することになります。 マイクロサービス間の分離された通信の最大の利点は、システムの複雑さを増したり、ソース コードを変更したりすることなく、いつでもこれらのイベントに新しいサービスを追加できることです。 8. ログを送信するKafka は、分散システムの一種の外部コミット ログとして機能します。ジャーナルは、ノード間でデータを複製するのに役立ち、障害が発生したノードからデータを回復するための再同期メカニズムとして機能します。 Kafka のログ圧縮機能は、この使用法をサポートするのに役立ちます。 |
<<: 24 Dockerfileと指示のベストプラクティス
>>: ネットワーク障害の目に見えない原因: MTU 構成をご存知ですか?
2018年、社会、経済、文化などの環境が複雑に変化する中、ブランドマーケティングも変化を遂げ、軽薄さ...
crowncloud.net は 年に設立されました。この会社からの広告はほとんど見たことがありませ...
昨日の「JD.comの商品一覧ページのユーザーエクスペリエンスとマーケティング手法の簡単な分析(パー...
[[435346]]データの重要性の高まりは、おそらくインターネット革命の最も重要な副作用の 1 つ...
あなたのウェブサイトが魅力的でない、またはコンバージョン率が低いのはなぜでしょうか? ウェブ開発者、...
7月25日、公安部交通管理科学研究所、AutoNavi Map、Sina Weiboが主催し、公安部...
kosscloudは中国人が運営する新興企業です。現在の業務は日本IIJ回線のVPSです。ネイティブ...
検索エンジン最適化サービスは現在では一般的です。多くの大企業が最適化に注目し、関連サービスを探し始め...
クラウド コンピューティングは、テクノロジーの世界に変革をもたらし、急速に成長し続けています。 20...
最近、多くのユーザーは、 Meituanを使用する際に、使い慣れた Alipay の支払い方法が見つ...
Baidu への組み込みは、すべての SEO 担当者とウェブマスターが懸念しているトピックです。特に...
itldc は 20 年以上運営されているブルガリアの老舗企業です。その中核データセンターはブルガリ...
一般的なウェブマスターとして、また企業のウェブサイト構築者および管理者として。何度も、なぜ最適化され...
2018年末、AWSはハイブリッドクラウド製品であるAWS Outpostsを正式にリリースし、AW...
[[419814]]先ほど、ctr を使用して containerd イメージ コンテナーを管理する...