「クラウドネイティブ ビッグデータ」がなぜ必要なのか?

「クラウドネイティブ ビッグデータ」は、特に大規模および中規模企業のスケーラビリティとアジャイル開発のニーズにおいて、テクノロジー分野のホットワードとなっています。 「クラウドネイティブビッグデータ」とは何ですか?まず第一に、ビッグデータは私たち全員がよく知っている用語です。主に、大量のデータの保存、使用、マイニングを指します。ただし、データ量が多いため、ローカルのスタンドアロン マシンでは実行できず、クラウド上で管理する必要があります。クラウド ネイティブとは、クラウド サービスのスケーラビリティと俊敏性をさらに向上させることを指します。前者は処理されるデータの量を指し、後者は開発の容易さを指します。つまり、簡単に言えば、クラウドネイティブ ビッグデータとは、「より大きなデータでより速く開発する」ように設計された一種のテクノロジーとプラットフォームです。

多くの企業がそのようなニーズを抱えています。 WeChatを例に挙げてみましょう。 3,000 を超える (マイクロ) サービスがあり、1 日に 1,000 回以上更新およびデプロイする必要がある場合があります。ストリーミングサービスNetflixには600以上の（マイクロ）サービスがあり、1日に100回以上デプロイする必要がある[1]。クラウド ネイティブの重要性は、もともとローカルでしか実現できなかったアジャイル開発をクラウドに拡張し、大規模コンピューティングの急速な発展をサポートすることにあります。これにより、大量のデータを持つアプリケーション (WeChat など) でオフラインでのテストや更新が必要なくなることも保証されます。

クラウドネイティブには多くの利点があります。まず、従来のクラウドサービスの利点を継承し、リソースの展開を増やすのではなく、外向きの拡張に重点を置いています。簡単な例を挙げると、従来の開発では、マシンを見つけてタスクを担当させ、タスクの拡大に合わせてマシンにリソースを追加（スケールアップ）します。しかし、欠点は明らかです。つまり、マシンに問題が発生すると、タスク全体がオフラインになります。クラウド ネイティブはスケールアウトの考え方を採用しており、複数のマシンを仮想化してタスクをまとめて完了するため、いずれかのマシンに障害が発生しても全体の動作には影響しません。したがって、サービスのスケーラビリティを簡単に向上できます。たとえば、APP が 1,000 人のユーザーから 2,000 人のユーザーにサービスを提供するために拡張するには、仮想マシンを 1 台追加するだけでよく、上限に達することは容易ではありません。

上: 拡大します。下: クラウドネイティブで採用されているスケールアウト

クラウドネイティブのもう一つの特徴は、開発の利便性を向上させるためにマイクロサービスとコンテナに重点を置いていることです。簡単に言えば、複雑なシステムは複数の独立した構成可能なモジュール (マイクロサービス) に分割できるため、新しい機能を開発するには、新しい小さなモジュールを追加して既存のモジュールと組み合わせるだけで済みます。このような新機能を導入する場合、パッケージ化された機能を統合されたコンテナに配置できます。この場合、毎回すべてのマイクロサービスを再処理する必要はなく、バッテリーを充電するのと同じように、俊敏に置き換えてアップグレードすることができます。各バッテリーを個別に充電することができ (マイクロサービスのアップグレードに類似)、充電後は (マイクロサービスのアップグレード)、プラグ アンド プレイで既存のマイクロサービスを置き換えることができます。たとえば、ソーシャル ソフトウェアがユーザーにコンテンツをプッシュする方法は、マイクロサービスである可能性があります。プッシュ戦略を変更する場合、通常はこの部分をアップグレードと AB テストのために削除し、その後、クラウド上のすべてのユーザー向けの推奨システムを徐々に置き換えます。クラウド ネイティブでは外部拡張を使用するため、ユーザーはサービスの中断を引き起こすことなく、独立したアップグレードや比較アップグレードを実行できます。

これらの抽象的な概念に加えて、ネイティブ クラウド ビッグ データは、2013 年に初めて提案されて以来、徐々に多くのビジネス ケースに適用されてきました。海外のマイクロソフトはこの点で常に優れた成果を上げており、中国ではテンセントクラウドが初のネイティブビッグデータエコシステムを立ち上げ、ネイティブクラウドビッグデータを活用して製品を強化する事例も数多くあります。

WeChat を例にとると、彼らはデータマイニングと分析に Tencent Cloud のネイティブクラウド設計を使用しています。実際、WeChat のデータ量がどれほど大きいかは想像に難くありません。何しろ、月間アクティブユーザー数は 10 億人を超えているからです。したがって、このような大規模なユーザー シナリオでは、特に複数のユーザー情報を統合するときに、分析用の膨大な量のデータが生成されやすく、多くの時間がかかります。多くの場合、データを準備するには数時間、場合によっては数日かかります。以前の AB テストの遅れは非常に明白でした。 WeChatは現在、Tencent Cloudのクラウドデータウェアハウスを使用してそのようなデータを処理しています。最大の利点は、データスループット、ストレージ、マイニングの問題を、1秒あたり10億個以上のデータを処理できるTencent Cloudに転送することです。 WeChat エンジニアは、ビジネス要件に基づいて特定の分析と開発を行うだけでよいため、待機に多くの時間を費やすという問題を回避できます。したがって、ネイティブクラウドビッグデータプラットフォームの中核目的は、ストレージと開発におけるデータ量によって発生する問題を解決し、開発と分析の問題のみをユーザーに残すことです。

完全なシステムソリューションとして、クラウドネイティブビッグデータの重要なコンポーネントには、データの保存、保管、呼び出しに使用される「ビッグデータ基本エンジン」が含まれます。データよりも重要なのは「データ開発とガバナンス」、つまりデータから有用な情報をいかに抽出するかです。もちろん、上位レベルでさまざまなビジネス視覚化パネルを統合して、分析を容易にすることもできます。これらのシステムの調整により、ネイティブ クラウド プラットフォームはさまざまな重要なシナリオとアプリケーションをサポートできます。

Tencent Cloud ビッグデータ アーキテクチャ

個人的には、このアーキテクチャ全体の中で最も重要な部分は、基盤となる「ビッグデータ エンジン」と中間レベルの「データ開発とガバナンス」であり、これには多くの技術が必要であると考えています。さらに難しいのは、これらの技術モジュールをいかに有機的に組み合わせるかということです。

Tencent Cloud のビッグデータ エンジンの中で、個人的に最も興味深いのは、データ レイク分析 (DLC) とクラウド データ ウェアハウス (CDW) です。まず、データ レイク分析 DLC について説明します。従来のデータベースとは異なり、データ レイクはより大きなデータ ストレージをサポートできます。リレーショナル データベースの保存だけでなく、CSV、JSON、XML などの半構造化データ、さらには PDF、ドキュメント、画像、オーディオ、ビデオなどの非構造化データもサポートできます。データ レイクの出現により、データを保存するための統一された場所が提供されます。簡単に言えば、データ レイクの出現により、分離されたデータベースの問題が回避され、データ統合のためのワンストップの場所が提供されます。 Tencent Cloud の DLC は、データ レイクのデータ分析を提供するため、(1) 複数のデータベースからの共同クエリと、(2) 基盤となるアーキテクチャを気にすることなく、ユーザーが処理に SQL ステートメントを直接使用できるサーバーレス アーキテクチャも提供します。データレイク分析のシナリオは、ゲーム開発と反復に非常に適しています。例えば、オンラインゲームの動作やストレス分析などに活用できます。 DLC を通じて、ユーザーのゲームログや購買習慣など、さまざまな形式のデータをデータレイクに取り込み、統合的に分析して利益を最大化することができます。代表的な例としては、ゲーム操作ログ指標のリアルタイム分析を通じて企業にとってより大きな価値を得ることができる Bilibili が挙げられます。

クラウド データ ウェアハウス (CDW) の主な目的は、ビッグ データ (特にワイド テーブル データ) を統合して統一的な分析を行うことです。 Tencent のクラウド データ ウェアハウス ClickHouse を例にとると、その主な目的は、複雑なユーザー特性を短時間で分析することであり、これはよく「大規模ワイド テーブル」と呼ばれます。つまり、各ユーザーは、インターネット上で、購買習慣や検索習慣など、さまざまな特性を持っている可能性があります。したがって、大量のデータ動作を統合すると、長さが数億行になるだけでなく、幅が数万行になることもある巨大なテーブル（さまざまな動作特性）が形成されます。したがって、Clickhouse はすぐに使用できるスケーラブルなデータ統合ツールを提供します。次の図を例にとると、ほとんどの電子商取引およびマーケティング企業は、データ統合に Clickhouse を使用するだけで、特性を満たすユーザーをスクリーニングし、そのデータを次のデータ アプリケーションに取り込んで、リアルタイムの注文分析や精密マーケティングを行うことができます。

Tencent Cloud の「データ開発とガバナンス」プラットフォーム WeData を例にとると、その中核的な特徴は、アジャイル開発とクラウド上での統合運用にあります。先ほど、クラウドネイティブ ビッグデータの重要な側面として、データのフィードバックに基づいて即座に修正や展開を可能にするアジャイル開発の必要性について説明しました。需要、開発、展開までのプロセスは非常に高速である必要があり、これは DataOps と呼ばれる新しい概念でもあります。 WeData の重要な革新は、複数の IDE と組み込みの DAG を通じて実現できる共同開発のサポートです。複数の人が共同作業を行うときに非常に便利な機能は、コード レベルでの競合を回避するデータの視覚化です。そのため、WeData は、下流のビッグデータ エンジンに接続しながら、迅速な開発、反復、展開をサポートします。

データ ガバナンス レベルでは、セキュリティも重点的に考慮されます。複数人で共同作業を行う場合、WeData は各人がアクセスできるデータを細かく制御できるため、データ漏洩などのセキュリティ上の問題を防ぐことができます。敏捷性は開発においてセキュリティを犠牲にすべきという意味ではありません。

WeDataデータ開発およびガバナンスプラットフォーム

これらのエンジンと処理システムを組み合わせることで、クラウドネイティブのビッグデータが私たちの生活に実際に応用されています。前述のZhihu、WeChat、Bilibiliなどに加えて、私たちがよく知っている業界のほとんどが実際にクラウドネイティブテクノロジーを使用しています。たとえば、証券や銀行などの金融業界では、Tencent Cloud などのクラウド サービスを使用して、複数のチャネルからユーザー情報を集約し、大量のデータから詐欺やマネーロンダリングを検出したり、インテリジェントなリスク管理や請求処理を確立したりしています。また、教育業界では、ネイティブ クラウドを使用して、パーソナライズされた学習コンテンツの推奨、インテリジェントな評価と採点から、学生のパフォーマンスのリアルタイム分析まで、フルチェーンのサポートを提供します。中小企業であれば一部の機能はローカルで完結できますが、ユーザー数の増加に合わせて弾力的に拡張でき、これまで同様に便利なデータ保存や分析を提供できるのがクラウドネイティブの特徴です。

したがって、クラウドネイティブのビッグデータは、まさに技術開発における止められないトレンドです。私たちが日々生み出すデータの量は急速に増加し続けており、その利用シナリオは今後さらに拡大していくでしょう。人間が毎年生成するデータの量は、すでに過去約 10 年間の合計に匹敵します。生成されるデータが増えるにつれて、私たちは自分自身と社会についてより深く理解するようになり、より優れたクラウド サービスとテクノロジーがその重要な部分を占めるようになります。