5 分間の技術講演 |都市プラットフォームにおける Kafka プッシュの実装の分析

パート01

機能紹介

• 開発者コンソールの機能

1. サービスインスタンス管理: Kafka クラスターインスタンスの構成情報とホワイトリスト管理。

2. データ統計: 単一のトピックまたはグループの毎日のメッセージ生成と消費に関する統計。

3. トピック管理: トピックの基本情報とサブスクリプション関係の管理。

4. 消費者グループ管理：グループの基本情報と消費状況の管理。

• 舞台裏管理システム

1. サービス クラスター管理: Kafka クラスター インスタンスの追加と構成管理機能を提供します。

2. 承認済みユーザーの管理: 開発者向けの Kafka クラスター インスタンスとリソース権限を構成します。

都市 IoT プラットフォームで実装されている Kafka プッシュは、オープン ソースの Apache Kafka 2.8.x バージョンに基づいており、ユーザー ベースの認証、承認メカニズム、リソース管理機能が追加され、ルール エンジンとのデータ ドッキングが実現されています。ルールエンジンを構成することで、デバイス基本データや知覚データなどのアプリケーションデータが上位の SaaS アプリケーションにプッシュされ、Kafka 公式サイトのクライアントを通じて直接データを利用できるようになります。

パート02

Kafka プッシュの利点

• パフォーマンス比較

Kafka は、低レイテンシ、高可用性、高スループット、および単一マシン書き込み TPS が 1 秒あたり約 100 万レコードという特性を備えており、IoT デバイスからの大量のデータを扱うシナリオに適しています。

• 運用と保守の実装

コミュニティが活発で、使用シナリオが幅広く、導入実践経験が豊富で、オープンソースの学習コストが低く、研究開発および運用保守担当者の敷居が低く、アプリケーションデータドッキング開発を簡単に完了できます。

• プロジェクトサポート

複数のアプリケーション サブシステムのデータ統合ニーズを同時にサポートし、内部メッセージ転送業務の開発を削減し、同時に一部のデータをキャッシュできます。 Kafka メッセージ ミドルウェアは、汎用性が高く、適用範囲が広く、データ ドッキング プロセスがシンプルです。

パート03

Kafka プッシュの主要技術の分析

シティプラットフォームの Kafka プッシュは公式クライアント実装に基づいており、認証、承認、リソース分離などの操作は公式クライアントが提供する API を通じて実行されます。

• Kafka 認証

SASL/SCRAM 接続認証に基づいて、コマンドまたは API を通じてユーザーを作成および削除できます。

• Kafka 認可

ユーザーデータの分離を確保するために、トピックとグループに基づいてユーザーを承認できます。

• リソースの分離

帯域幅は、ユーザーの消費量と生産率の割り当てに基づいて制限される場合があります。

• 主要APIリスト