テンセントクラウドは複数の新製品の発売によりデータからより多くの価値を引き出します

[51CTO.comからのオリジナル記事] テンセントクラウドビッグデータ技術は、最も重要な基礎技術の一つとして、テンセントのすべての社内業務を効果的にサポートし、さまざまな業界のデジタル化に基本的なサービスを提供します。当初はコンピューティングの問題を解決し、適時性の問題を解決し、プラットフォームが保有するデータ価値を高め、現在のプラットフォーム システムのインテリジェントな進化に至るまで、これは荒耕から精耕までのプロセスであると言えます。

以前、テンセントは主に従来のリレーショナル データベースを使用していました。 2009 年以降、従来のスタンドアロン データベースによって提供されるサービスは、システムの拡張性とコスト効率の観点から、Tencent のビジネスの爆発的な成長に適さなくなりました。この変化に直面して、テンセントのビッグデータは分散化に目を向け、オープンソースのHadoopシステムをベースとした第1世代のテンセントクラウドビッグデータプラットフォームを構築し、規模に重点を置いたオフラインコンピューティングプラットフォームを構築しました。こうして、テンセントクラウドビッグデータは第一段階に入った。テンセントは3年でリレーショナルデータベースから自社のビッグデータプラットフォームへの包括的な移行を達成しました。 2012年までに、テンセントクラウドビッグデータの単一クラスターの規模は4,400ユニットを超えました。

2012年、モバイルインターネットは爆発的に普及しました。タイムリーで迅速なビジネスデータ統計のニーズを満たすために、Tencent Cloud Big Data は Hadoop から Spark および Storm システムに移行しました。オープンソース技術の吸収とテンセント自身のニーズの組み合わせを基に、ストリーミングコンピューティングと第2レベルの収集システムの構築を模索し、エンタープライズレベルのリアルタイムデータ分析システムを構築しました。 Tencent Cloud Big Dataの開発は第2段階に入り、StormをJavaで書き直し、独自のTubeMQを開発しました。

2015年と2018年に、テンセントクラウドビッグデータは第3段階に入りました。データマイニングとデータ応用の深化に伴い、テンセントクラウドビッグデータは再び進化を遂げ、2016年に自社開発の機械学習プラットフォームAngelをリリースしました。Angelは複雑なコンピューティングシナリオに特化し、大規模なデータトレーニングを実行でき、コンテンツ推奨や広告推奨などのAI応用シナリオをサポートしています。 Angelはテンセントと北京大学が共同で開発しました。業界における高い可用性と学術界における革新性を兼ね備えています。これは、テンセント自身のビジネスニーズをサポートするだけでなく、業界にとって画期的な出来事でもあります。

2019年以降、業界ではビッグデータ運用を支援するために人工知能を試み始めていますが、十分に体系化されていません。テンセントクラウドビッグデータの第4フェーズでは、これを重点とし、ビッグデータをAIフレームワークと統合し、ビッグデータにAIブレインを搭載することで、データの問題を解決するだけでなく、プラットフォーム全体にフィードバックして、よりインテリジェントで体系的な運用を実現し、テンセントの内部診断、分析、最適化、問題のコスト削減を支援します。

3層の製品マトリックス: インフラストラクチャ、製品開発、アプリケーションサービス

Tencent Cloud Big Data の開発の歴史についてお話しした後、Tencent Cloud Big Data の製品マトリックスについてお話ししましょう。まず、EMR、Shield フェデレーテッド コンピューティングなどの最も基本的なストレージとコンピューティング設備が最下層にあります。この層はインフラストラクチャの提供に加えて、企業の運用および保守エンジニアがより高性能で低コスト、かつより安全なコンピューティング パワーを迅速に構築するのにも役立ちます。

次のレベルは、すぐに使用できることを重視する製品開発層です。特定のビジネス シナリオの開発に関するすべてのコンテンツを 1 つのプラットフォームで処理できるため、会社の開発者はプラットフォーム自体についてあまり心配することなく、ビジネスに集中できます。
最上位のアプリケーション層では、マーケティング機能、成長機能、BI 機能、リスク管理機能など​​、ビジネスに近いさまざまな SaaS 製品が提供されます。

要約すると、Tencent Cloud Big Data の製品マトリックスは、インフラストラクチャ、製品開発、アプリケーション サービスの 3 つの層に分かれています。

今年のTencent Cloudビッグデータの研究開発の重点は何ですか?どのような重要な製品がリリースされましたか? Tencent Cloud Big Data Platformの最新データは何ですか?これらの質問への回答は、先日開催された「テンセント グローバル デジタル エコシステム カンファレンス 2020」で発表されました。

フルリンクデータ開発プラットフォームWeData

テンセントクラウド副社長の劉宇紅氏は、テンセントクラウドのビッグデータプラットフォームの弾力性のあるコンピューティングリソースプールが500万コアに達し、毎日の分析タスク数が1500万に達し、毎日のリアルタイム計算数が40兆を超え、1兆次元以上のデータトレーニングをサポートできることを明らかにした。 Tencent Cloud は、中国で最も強力なコンピューティング能力を持つクラウドベンダーになっただけでなく、1 日のリアルタイム コンピューティング量が最大である企業にもなりました。

[[341821]]

テンセントクラウド副社長 劉宇紅

テンセントクラウドビッグデータ製品副総経理の雷小平氏によると、今年のテンセントクラウドビッグデータの研究開発の焦点はシナリオ開発層にあり、カンファレンスではフルリンクデータ開発プラットフォームWeDataが発表された。

[[341822]]

テンセントクラウドビッグデータ製品副ゼネラルマネージャー、レイ・シャオピン

WeData は、アドホック データ分析、データ タスクの視覚的なオーケストレーション、運用と保守を含むフルリンク データ開発機能を提供します。 WeData の助けにより、企業のデータ開発のハードルを効果的に 60% 下げることができます。同時に、WeData はクラウド内に統合メタデータ管理機能を構築し、技術メタデータとビジネス メタデータの管理、EMR、CDW データ ウェアハウス、MySQL、さらにはオブジェクト ストレージなどのメタデータの接続をカバーしています。これにより、企業データはさまざまなクラウド データ施設間でシームレスに流れ、メタデータの一貫性と保守性が確保されます。さらに、WeData はデータ サイエンティストに包括的な資産管理とデータ ガバナンス機能を提供し、データ価値の発見の効率を総合的に向上させます。

アプリケーションレベルでは、QQ Music は WeData 製品に基づいてビッグデータ機能を再構築しました。再構築前は、すべてのデータ分析機能は Spark に基づいて構築されており、すべてのレポートのレイテンシは数時間単位でした。すべてのホットデータがClickhouseにアップグレードされ、WeDataを通じてデータ開発が行われた後、再構築が完了した後、データの意思決定能力は時間レベルから2番目のレベルに向上しました。

WeData は、一般的なビッグデータ開発とデータガバナンスに関わるすべてのリンクを公開し、完全なリンクカバレッジを実現し、ユーザーがビジネスの成長にさらに集中できるようにしていることがわかります。

フルリンクデータ開発プラットフォームWeDataに加え、より細分化されたシナリオにおいて、テンセントクラウドビッグデータは、ストリームコンピューティングサービスOceanus、クラウドデータウェアハウスCDW、ES、エラスティックMapReduce、Shieldフェデレーテッドコンピューティング、エンタープライズポートレートなど、6つの主要な機能を発表およびアップグレードし、ビッグデータのライフサイクル全体をカバーし、統合プラットフォーム、異種コンピューティングパワー、エンタープライズレベルのセキュリティなど、エンタープライズデジタルトランスフォーメーションの新たなニーズを満たすことを目指しています。

AB統合を実現するために安全性、インテリジェンス、統一性を確保する

人工知能とビッグデータの統合（AB統合）は、今後の情報技術の発展のトレンドとなり、新たなデジタル経済の核心的な原動力となるでしょう。テンセントクラウドビッグデータ基盤プラットフォームのジェネラルマネージャーである陳鵬氏は、現状ではBがAを助けており、AがBを助けているわけではないと見ている。そのため、Bがいかに効果的にAを助けられるか、そしてAとBをいかにアーキテクチャーの中で統合できるかが、次世代コンピューティングプラットフォームの開発方向、すなわちセキュリティ、インテリジェンス、統一性となるだろう。

まず、セキュリティの面では、ビッグデータ自体はクラスターを使用して孤立島の問題を解決していますが、現在は散在するデータを集約する問題しか解決しておらず、欧州のGDPRなどの政策や規制によって引き起こされる、異なるチーム、異なる機能部門にデータが散在し、データベースが接続されていない問題は解決されていません。そのため、セキュリティは重要なポイントとなります。 Tencent Cloudは、それぞれAとBのコンピューティングプロセスのセキュリティを実現しており、現在は共同コンピューティングプラットフォームを開発しており、データのプライバシーを保護しながら共同データ分析、共同データモデリングなどの機能を提供し、データの統合と相互運用性を実現し、データの価値を解放します。

2 つ目はインテリジェンス、つまり A が B を支援する方法です。AI は、AB 統合プロセスで最も重要な側面である、ビッグ データがより多くの操作を実行することを体系的に支援することはできません。現在のクラスターサイズは 100,000 ユニットに達しており、毎年 40 ～ 60% の割合で成長しています。しかし、このような大規模なクラスターでは、運用作業を解決するために依然として主に手動の支援ツールに依存しています。テンセントは、将来的にはオンライン操作データをフィードバックし、機械学習に基づいてインテリジェントな決定を下し、これらの決定と指標データに基づいてスケジュールパフォーマンスを最適化し、ハードウェアのカスタマイズを推進できるようになることを期待しています。

3番目は団結です。フレームワークの統一、AB技術の統合などを含みます。

フレームワークの統一という点では、ビッグデータの技術スタックは非常に複雑になっています。コンピューティングだけで言えば、Spark、Hadoopなどがあります。業界の複雑で頻繁に出現するシステムによって企業自体が影響を受けず、全体的なアーキテクチャの拡張に影響を与えないようにするには、フレームワークの統一によって解決する必要がある問題です。テンセントのビッグデータシステムは、このような問題を解決するのに非常に適しています。

AB 技術の統合と統一の観点から、AB の基礎となる演算子と分散操作には、ビッグデータの結合、アグリゲーター、ソート、AI のグラジエント、ドット、ソフトマックスなど、操作メカニズムを通じて統合できる強い類似点があります。コンピューティングエンジンの面では、バッチ、ストリーム、グラフのコンピューティング形式の統一、DAG、PS、MPI、複数のシャッフルモードのカバー、コストベースの最適化、統一された実行プランの最適化、およびコンパイルテクノロジのハードウェアとソフトウェアのコレクションに基づいて、コード生成を使用して異種ハードウェアに適応し、コンピューティング演算子をGPU、FPGAなどにプッシュダウンします。したがって、これらの観点から、ABの統合は単一点の統合ではなく、体系的な統合です。この傾向により、最終的にはユーザーにワンストップのデータ処理エクスペリエンスがもたらされることになります。

企業のデジタル変革は急速に進化しています。 Tencent Cloud Big Data は、統合プラットフォーム、異機種コンピューティング能力、エンタープライズレベルのセキュリティといった優位性を引き続き活用し、インフラストラクチャ、シナリオ開発、アプリケーション サービスに至るまで、フル シナリオの完全管理機能を提供し、エンタープライズ顧客のコスト削減と効率向上、ユーザー サービスの最適化を支援し、ビッグ データがデジタル経済の発展に向けて新たな勢いをさらに発揮できるようにします。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]