Kafka を使用したデジタル ツイン IoT アーキテクチャの実装

[51CTO.com クイック翻訳] デジタルツインは、現実の特定の事柄（プロセスやサービスを含む）をデジタル仮想環境で表現したものとして理解できます。この記事では、業界全体にわたるデジタル ツインの利点と、Apache Kafka、IoT アーキテクチャ、機械学習の関係について説明します。実際のアプリケーションでは、Kafka は、リアルタイム ストリーミング センサーからのデータを使用して、信頼性が高くスケーラブルなデジタル ツインとデジタル スレッドを構築するための中心的なイベント ストリーミング プラットフォームとしてよく使用されます。

オープンでスケーラブルなデジタルツイン インフラストラクチャを構築する方法について、次の 3 つの側面から説明します。

• デジタルツインとデジタルスレッド。
• イベント ストリーム、デジタル ツイン、AI (機械学習) の関係。
• Apache Kafka およびその他の IoT プラットフォームを使用したデジタル ツイン IoT アーキテクチャ。

デジタルツインを構築するためのポイント

まず、4 つの基本的なポイントを理解しましょう。

• イベント ストリーミングは、IoT プラットフォームやその他のバックエンド アプリケーション/データベースを補完します。
• ほとんどのデジタル ツイン アーキテクチャでは、シミュレーション、予測、推奨に機械学習 (ML) と統計モデルを使用します。
• 「デジタルツイン」という用語は、一般的に単一の資産のコピーを指します。現実の世界には、さまざまなデジタルツインが存在します。
• 「デジタル スレッド」という用語は、1 つまたは複数のデジタル ツインのライフサイクル全体をカバーします (下の図を参照)。

デジタル ツインは、次のような多くの業界や分野に適用できます。

• ダウンタイムを削減
• 在庫管理
• フリート管理
• 仮定のシミュレーション
• 運用計画
• サービス指向
• 製品開発
• 健康管理
• 顧客体験

実際、デジタルツインはさまざまな業界に自動化をもたらすだけでなく、さまざまなビジネスの価値と革新性を高めます。

イベントストリーム、デジタルツイン、AI（機械学習）の関係

開発者は、正確な予測を行うために機械学習とデジタルツインを使用する必要があります。両者の間には補完関係があります。次の図は、さまざまなデジタル ツインが統計手法と分析モデルをどのように活用できるかを示しています。

この例には、物理​​モデルに基づいてシミュレートされたさまざまな仮想シナリオと、データ モデルに基づいて残存耐用年数 (RUL) を推定することが含まれています。デジタルツインと機械学習には次のような共通点があることがわかります。

• 継続的な学習、監視、アクションが可能です。
• 優れたデータ ソースが成功の鍵となります。
• データセットが多ければ多いほど良いです。
• リアルタイムのパフォーマンス、スケーラビリティ、信頼性が重要な要件です。

デジタルツイン、機械学習、イベントストリーミングに Apache Kafka を使用する

Apache Kafka オープンソース エコシステムは、機械学習のためのインフラストラクチャを提供します。次の図は、機械学習のための Kafka のアーキテクチャを示しています。このアーキテクチャは、モデルのトレーニング、展開、スコアリング、監視のためのオープンでスケーラブルかつ信頼性の高いリアルタイム処理を提供します。

実際のアプリケーションにおけるデジタル ツインの一般的な 5 つの特性は次のとおりです。

接続性

• さまざまな物理資産、エンタープライズ ソフトウェア、顧客。
• 指揮と制御のための双方向通信。

均質化

• 分離と標準化。
• 情報仮想化。
• 物理的な場所や時間に関係なく、複数のエージェントと共有できます。
• コストが削減され、テスト、開発、予測が容易になります。

再プログラム可能でインテリジェント

• 機能を調整および改善して製品の新しいバージョンを開発します。

デジタルトラッキング

• 過去を遡って（バックトラックして）過去の出来事を分析し、問題を診断する能力。

モジュール性

• 製品および生産モジュールを設計およびカスタマイズする能力。
• さまざまなモデルとマシン モジュールを調整します。

上記の機能を実現するために、さまざまな IoT プラットフォームを選択できます。 IoT Analytics Research によると、2019 年現在、市場には 600 を超える IoT プラットフォームが存在します (参照: https://iot-analytics.com/iot-platform-companies-landscape-2020/)。同時に、これらのツールとソリューションの多くは組み合わせて連携させることができます。

以下では、いくつかの典型的な IoT プラットフォームについて説明します。

• Siemens S7 や Modbus が主導する産業用 IoT (IIoT) 関連のプロトコル、および OPC-UA などの標準との緊密な統合: これらは単一の製品ではないことがよくあります (通常はさまざまな OEM の異なるコード ベース)。高価ではありますが、特定のインターフェースが開かれ、スケーラビリティは非常に限られています。このようなプラットフォームの代表的なものとしては、Siemens MindSphere、Cisco Kinetic、GE Digital、Predix などがあります。
• クラウド プロバイダーの IoT 製品: 他のクラウド サービス (ストレージ、分析など) と適切に統合される包括的な IoT 管理ツールを提供します。ただし、多くの場合、クラウド プロバイダーのプラットフォームにバインドされており、ハイブリッド コンピューティングやエッジ コンピューティングをサポートできません。さらに、拡張性が限られており、高価です。このようなプラットフォームの代表的なものとしては、AWS、GCP、Azure、Alibaba などが挙げられます。
• オープン スタンダード (MQTT など) に基づき、オープン ソースである IoT プラットフォーム: オープン コア ビジネス モデルを実現し、インフラストラクチャに依存しません。ただし、古いプロトコルや独自のプロトコルへの接続に関しては、まだ成熟していない可能性があります。このタイプのプラットフォームの代表的なものとしては、Eclipse IoT、Apache PLC4X、Node-RED などのオープンソース フレームワークや、MQTT などの標準に準拠した HiveMQ 関連製品などが挙げられます。

Apache Kafka およびその他の IoT プラットフォームを使用したデジタル ツイン アーキテクチャ

次に、デジタル ツインの 5 つの特性に基づいて、リアルタイム メッセージング、統合、およびミッション クリティカルなイベント ストリームの処理における Kafka の役割について説明します。

• 接続性: Kafka Connect は、IoT インターフェース、ビッグ データ ソリューション、クラウド サービスへの無料かつリアルタイムの大規模な接続を提供します。
• 準同型性: Kafka はプロデューサーとコンシューマー間の真の分離を実現します。スキーマの管理と実装では、JSON Schema、Avro、Profobuf などのさまざまなテクノロジを使用して、データの認識と標準化を実現できます。
• 再プログラム可能でインテリジェント: マイクロサービス アーキテクチャの事実上の標準である Kafka は、関心の分離、ドメイン駆動設計 (DDD、https://www.confluent.io/blog/microservices-apache-kafka-domain-driven-design/ を参照)、新しい分離されたアプリケーションのデプロイメント、バージョン管理の実装、A/B テストとリリースをサポートします。
• デジタル トラッキング: 分散コミット ログとして、Kafka はオンデマンドでイベントを特定の時点に永続的に追加して保存します (永続的な保持時間は -1 にすることができます)。これは、デジタル ツインのデジタル トレースを構築するのに最適です。
• モジュール性: Kafka インフラストラクチャ自体はモジュール化され、拡張可能で、Kafka ブローカー、Connect、Schema Registry、REST Proxy などのコンポーネントや、Java、Scala、Python、Go、.NET、C++ などのさまざまな言語のクライアント アプリケーションが含まれます。このモジュール性により、エッジ、ハイブリッド、またはグローバル シナリオで適切なデジタル ツイン アーキテクチャを簡単に構築し、Kafka コンポーネントを他の IoT シナリオと組み合わせることができます。

ここでは、デジタル ツインに適した 5 つの IoT アーキテクチャを紹介します。それぞれの長所と短所、企業全体の構造、プロジェクトの状況、その他の側面に基づいて、合理的な選択を行うことができます。

ソリューション 1: デジタルツインモノリス

追加のデータベースやその他のコンポーネントを必要とせずに、IoT プラットフォームを使用してデジタル ツインを直接統合および構築します。

オプション2: 外部データベースとしてのデジタルツイン

IoT プラットフォームはエンドポイントと統合され、デジタル ツインのデータは MongoDB、Elastic、InfluxDB、Cloud Storage などの外部データベースに保存されます。このようなデータベースは、保存、処理、ダッシュボード分析のタスクにのみ使用されます。

同時に、Tableau、Qlik、Power BI などのビジネス インテリジェンス (BI) ツールも、データベースの SQL インターフェースを使用してインタラクティブなクエリとレポートを実装できます。

シナリオ3: デジタルツインと企業の残りの部分のバックボーンとしてのKafka

IoT プラットフォームはエンドポイントと統合されたままです。 Kafka は、他のコンポーネントからの分離を実現する中心的なイベント ストリーミング プラットフォームとして機能します。ここで、中央レイヤーはオープンで、スケーラブルかつ信頼性があります。ここでのデータベースは、デジタルツインの保存やダッシュボードの分析にも使用されます。他のアプリケーションも、リアルタイム、バッチ、要求応答通信などで Kafka からのデータの一部を消費します。

ソリューション4: IoTプラットフォームとしてのKafka

中心的なイベント ストリーミング プラットフォームとして、Kafka は IoT エンドポイントやその他のアプリケーションにミッション クリティカルなリアルタイム アーキテクチャと統合レイヤーを提供します。このソリューションでは、デジタル ツインは上記のソリューションで説明したデータベースを使用せず、Azure IoT Twin Twins などのクラウドベースの IoT サービスを使用します。

シナリオ 5: IoT プラットフォームとしての Kafka

Kafka は、他のコンポーネントやデータベースを介さずにデジタル ツインを直接実装するために使用されます。同時に、他の消費者は元のデータとデジタルツインデータを直接使用します。

このソリューションの主な問題は、Kafka がデータベースを置き換えることができるかどうか、そしてどのようにデータをクエリするかということです (https://www.kai-waehner.de/blog/2020/03/12/can-apache-kafka-replace-database-acid-storage-transactions-sql-nosql-data-lake/ を参照)。実際には、Kafka はデータベースとして使用できるため、Oracle、MongoDB、Elasticsearch などの他のデータベースを置き換えるものではありません。

もちろん、Kafka の複数のデプロイメントはデジタル ツインのアーキテクチャにも適用でき、永続的なストレージなどの面で大きな役割を果たします。

原題: Apache Kafka によるデジタルツインの IoT アーキテクチャ、著者: Kai Wähner

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください。