テンセントが初めて自社のコアビッグデータ技術体系を公開、「テンセントのビッグデータ構築法」が正式に発表

テンセントは8月31日、新刊書籍「テンセントのビッグデータ構築法」の中で、自社の中核となるビッグデータ技術システムアーキテクチャと大規模ビジネスアプリケーションの実践を初めて公開した。本書は、中国のビッグデータ分野における最先端の技術著作として、ビッグデータ分野におけるテンセントの技術専門家数十名の考えと実践のエッセンスを結集したものです。ビッグデータ分野における自社の探求と実装を総合的に分析することで、国内のビッグデータ実践者に非常に貴重な参考資料を提供します。

テンセント副社長の江傑氏は次のように述べた。「第1世代のオフラインコンピューティングから、プライバシーコンピューティング、デジタルインテリジェンス統合、クラウドネイティブに代表される第4世代のビッグデータ技術まで、テンセントのビッグデータチームは、大規模な社内ビジネスプラクティスに基づいて、継続的に最先端の技術と製品を構築し、多くの社内外の顧客にサービスを提供してきました。今後もテンセントは、Tencent Cloudを通じてビッグデータ分野での自社の技術と経験を開放し、パートナーと協力して各分野の顧客に価値を創造し、デジタル経済と実体経済の統合発展​​を加速していきます。」

「ビッグデータ産業発展のための第14次5カ年計画」では、データが重要な生産要素となっていると提唱されている。ビッグデータ産業は、データ要素の潜在力を活性化するための重要なサポートとして、経済社会発展の質、効率、推進力の変化を加速するための重要なエンジンです。テンセントが発表した「テンセントのビッグデータ構築の道」は、テンセント社内のビッグデータ技術の応用開発と進化を体系的に検証するものであり、国内のビッグデータ産業の共通の進歩を促進する上で積極的な意義を持つ。

この本はテンセントデータプラットフォーム部門と機械産業出版社が共同で制作したと報じられている。内容は大きく分けて2つの部分に分かれており、第1部では主にテンセントのビッグデータプラットフォームの技術システムについて説明しています。第二部では、主にテンセントビッグデータがテンセントクラウドを通じて対外的に公開した一連の製品について説明します。

第一部では、テンセントビッグデータチームが自社プラットフォームの開発履歴と全体アーキテクチャから始めて、さまざまな技術原理を詳しく紹介し、実際のプロセスで遭遇した課題と自社開発のコア技術の設計思想について詳しく説明しました。内容は、ビッグデータ アクセス、コンピューティング、ストレージ、分析、スケジューリングなど、多数の技術コンポーネントの全体的なアーキテクチャとアプリケーション表示をカバーしています。リアルタイムデータ収集TDBank、次世代ビッグデータ分散ストレージOzone、高性能ビッグデータSQLエンジンSuperSQL、独自開発の高性能分散機械学習プラットフォームAngelなど、多くの重量級製品の詳細な分析があります。

本書では、分散コンピューティングを例に、SuperSQL の主要テクノロジと、OLAP データ分析やデータセンター間のクエリ最適化などの複数のシナリオでの SuperSQL のアプリケーションの詳細について詳しく紹介しています。 SuperSQL は、データ ソース、データ センター、コンピューティング エンジンにまたがる Tencent Big Data が開発した高性能ビッグ データ SQL エンジンであり、クラスター リソースの使用を最適化し、ビジネス データの使用効率を向上させ、ビジネス データ サイロの問題の解決に貢献することに取り組んでいます。現在、SuperSQL は Tencent のイントラネットと外部顧客に導入され、それぞれ数百台のマシンを備えた複数のデータセンター間クラスターに接続して使用されています。

図: Tencent SuperSQL システムアーキテクチャ

第2部では、ビッグデータチームが主にテンセントのデータガバナンス、データアプリケーション、機械学習などの構築経験を紹介し、テンセントのビッグデータ製品と社内外のシナリオにおける実践的な実装について解説しました。テンセントが自社開発した機械学習プラットフォーム「Angel」を例にとると、その機能は従来の機械学習、グラフマイニング、グラフ学習、ディープラーニング、プライバシーコンピューティングをカバーしています。これは、世界トップクラスの AI オープンソース財団である LF AI Foundation を卒業した中国初のトッププロジェクトです。 2017年にオープンソース化されて以来、Huawei、Xiaomi、OPPOなど100以上の企業や組織で使用されています。この本では、テンセントのビッグデータチームがシステムアーキテクチャ、運用アーキテクチャ、機能特性をレイヤーごとに分析し、読者が関連する詳細な認識と理解を確立するのに効果的に役立ちます。

本書では、ビッグデータ運用において業界の専門家が直面する広範な問題点に対応するため、ビッグデータプラットフォームの計画、プラットフォームガバナンス、運用保守システムの構築、運用コストの最適化、データ資産管理の面でテンセントが蓄積してきた経験も体系的に紹介しています。これは、大規模データビジネスの爆発的な成長の過程で、データ駆動型運用を継続的に模索し、プラットフォームの高い自律性を実現した結果でもあり、ビッグデータプラットフォームの構築と運用のニーズを持つ企業やチームに実用的で直接的なリファレンスを提供します。

図：テンセントのビッグデータ運用分析と応用システムアーキテクチャ

先日終了した第1回テンセントクラウドビッグデータサミットで、テンセントクラウド副社長の劉宇紅氏は、テンセントクラウドのビッグデータプラットフォームの計算能力規模が現在1,000万コアを超え、毎日のリアルタイム計算量は100兆に達し、毎日稼働するコンテナの数は1億を超え、毎日の計算データ量は数百PBに達したことを明らかにした。サービス提供している法人顧客数は2万社を超え、オープンソースコミュニティのコード貢献量は800万行を超えており、ビッグデータ分野におけるテンセントのトップクラスの強みをさらに証明しています。