マルチクラウドおよびハイブリッドクラウドシナリオにおけるデータ同期ソリューション: Kafka

[[427949]]

この記事はWeChatの公開アカウント「Mingge's IT Essays」から転載したもので、著者はIT Minggeです。この記事を転載する場合は、Mingge の IT Essays 公開アカウントにご連絡ください。

1 エンタープライズビジネスシステム展開アーキテクチャのトレンドの変化 - マルチクラウドとハイブリッドクラウド

現在、企業の情報システムの展開アーキテクチャ（DA：展開アーキテクチャ）における大きな変化は、ますます多くの企業が継続的にクラウドにアプリケーションを展開していること、つまり、業務システムがクラウドに移行する傾向が強まっていることです。

ただし、企業のビジネス システムをクラウドに移行することは、一夜にして達成できるものではなく、また一方通行でスムーズに進むプロセスでもありません。これには、新しく開発された業務システムのクラウドへの積極的な移行（クラウドネイティブのテクノロジー スタックを使用して新しく開発された業務システムであるため、クラウドへの移行は比較的スムーズです）と、歴史的なレガシー システムのクラウドへの移行（単一のレガシー システムの変換、移行、クラウド移行には、複雑さに応じて 1 年以上かかることがよくあります）が含まれます。場合によっては、クラウド展開をプライベート クラウドまたはデータ センターにロールバックする必要がある状況があります (クラウドへの移行がスムーズでなかったり、適応性がない場合は、ロールバックされるシナリオもあります)。

企業のすべてのビジネス システムをクラウドに移行する最終的な目標は、さまざまな理由 (ビジネス システムの高可用性、クラウド ベンダーに縛られないこと (ベンダー ロックイン)、エコシステム パートナー (経済的要因) など) により、単一のパブリック クラウドではなく、複数のパブリック クラウド、プライベート クラウド、さらにはローカル データ センターのハイブリッド アーキテクチャを展開することです。

技術的観点から見たビッグデータ産業の発展動向

2. マルチクラウドおよびハイブリッドクラウド展開アーキテクチャの難しさ - データ同期

前述のように、長期的には、企業の複数の業務システムは、マルチクラウド、ハイブリッドクラウド、ローカルデータセンターのハイブリッドアーキテクチャで展開されることになります。同時に、複数のビジネス システムは互いに分離されておらず、連携してデータを操作する必要があるため (もちろん、通常は直接の RPC/HTTP 呼び出しではありません)、マルチクラウドおよびハイブリッド クラウド展開アーキテクチャでのデータ同期という難しい問題が発生します。

企業が会社レベルで統一された計画を持たず、各部門およびプロジェクトが個別に展開計画を設計および実装する場合、そのアーキテクチャは次の図のようになります。

マルチクラウドおよびハイブリッドクラウドの展開アーキテクチャ

マルチクラウドおよびハイブリッドクラウド展開アーキテクチャにおける 3 つのデータ同期ソリューション - KAFKA

KAFKA に詳しい人は、KAFKA が企業内の複雑で多方向のデータ相互作用を解決するために 2010 年頃に LinkedIn によって開始されたデータ バス/中央データ パイプライン ソリューションであることを知っています。 LinkedIn のデータ相互作用アーキテクチャを簡素化します。

LinkedIn の kafka

LinkedIn が KAFKA をオープンソース化して以来、高スループットと低レイテンシの機能 (シーケンシャルな書き込みと読み取り、ZeroCopy、エンドツーエンドの圧縮、パーティションベースの水平拡張)、継続的な進化によって獲得したその他の機能 (複数のコピーに基づく高可用性とフォールト トレランス、EOS の 1 回限りのセマンティクス、プロデューサーの冪等性、ACID トランザクションのサポート、階層型ストレージ アーキテクチャ)、および継続的に強化および拡張されたエコシステム (kafka connect、kafka スキーマ レジストリ、高レベル抽象化 kafka stream、ksqlDB) により、データの適時性 (リアルタイム警告、リアルタイムのリスク管理、リアルタイム データ ウェアハウスなどのシナリオ) に重点を置く今日のビッグ データ、および疎結合 (マイクロサービスはもはや直接相互に呼び出すことはなく、データを同期することでステータスを同期する) に重点を置く今日のマイクロサービス (適切なベントに立って、その地位が上昇中) において、ほぼすべての企業が多かれ少なかれ KAFKA (または同様の競合製品など) を使用しています。ビジネス システムに pulsa を導入します。

KAFKA は企業内のデータバス/中央データパイプラインソリューションとして使用できるため、マルチクラウドおよびハイブリッドクラウド展開アーキテクチャの新時代のデータ同期で役割を果たすことができるのでしょうか?

答えはイエスです。

この時点でのアーキテクチャは次のようになります。

マルチクラウドとハイブリッドクラウドでのデータ同期 - kafka

アーキテクチャの重要なポイントは次のとおりです。

• ローカル データ センターに KAFKA クラスターをデプロイします。
• クラウドに Kafka クラスターをデプロイします。 (クラウドが複数ある場合は、各クラウドに Kafka クラスターをデプロイします)。
• ローカル データ センター内のすべてのアプリケーションのデータは、ローカル データ センターの Kafka クラスターに集約されます。 (Kafka Java/Scala API を使用して Kafka に直接書き込むことも、さまざまな CDC ツールを使用して RDBMS で binlog/redolog を収集してから Kafka に書き込むこともできます。使用可能な CDC ツールには canal/maxwell/ogg/debezium などがあり、Kafka Connect エコシステムのさまざまなコネクタ プラグインも使用できます);
• Kafka のデータ同期ツール MirrorMaker を使用して、データセンターと各クラウド内の Kafka クラスター間でデータを同期します。
• 各クラウド アプリケーションは、対応する Kafka クラスターにアクセスしてデータを取得します。

このアーキテクチャの利点は次のとおりです。

• 複数の大手メーカーの生産システムにより、マルチデータセンターアーキテクチャの実現可能性が検証されています。
• 継続的な低遅延データ同期ソリューション。 （高速ネットワーク帯域幅では、遅延は数百ミリ秒に達する可能性があります）。
• 集中管理と監視、複数のセキュリティおよびガバナンス ソリューションの統合をサポートします。
• コスト削減;
• KAFKA を開発している商用企業 Confluent が提供する Confluent プラットフォームを使用できます。この製品は、データセンター/プライベート クラウド/パブリック クラウドに導入できます。アーキテクチャ図は次の通りです。画像

4 知識の要約

• 企業の IT インフラストラクチャにおける大きなトレンドとして、クラウド コンピューティングへの傾向が強まっていることが挙げられます。
• 企業のビジネス システムをクラウドに移行することは、一夜にして達成できるものではなく、また一方的に順調に進むプロセスでもありません。
• 将来のエンタープライズ ビジネス システムの展開アーキテクチャは、単一のパブリック クラウドではなく、複数のパブリック クラウド、プライベート クラウド、さらにはローカル データ センターのハイブリッド展開になります。
• 企業のビジネス システムは、マルチクラウドおよびハイブリッド クラウドの展開アーキテクチャにおいて、データ同期という課題に直面しています。
• KAFKA は、マルチクラウドおよびハイブリッド クラウド展開アーキテクチャでのデータ同期ソリューションとして使用できます。
• マルチクラウドおよびハイブリッド クラウド展開アーキテクチャでデータ同期のソリューションとして KAFKA を使用する場合、ローカル データ センターとクラウドの各クラウドに KAFKA クラスターが展開されます。
• マルチクラウドおよびハイブリッド クラウド展開アーキテクチャで KAFKA をデータ同期ソリューションとして使用する場合、Kafka のデータ同期ツール MirrorMaker を使用して、データセンターと各クラウドの Kafka クラスター間でデータを同期できます。

追記：著者は、複数のデータセンター間のデータ同期問題を解決するために、いくつかのサードパーティ企業がこのソリューションに基づいてパッケージ化された商用製品を発売していることを知りました。 （ビジネスチャンスです、友人の皆さん、これは長期にわたる大きなケーキです）。

関連情報ダウンロード：リンク：https://pan.baidu.com/s/1FNAkwXbxQBn0tPINKPXVCg 抽出コード：kafk