テンセントマルチメディアラボの劉山氏：5G時代の到来により、マルチメディアは急速に進化しています

12月19日から20日にかけて、テンセント主催の2020 TECHO PARK開発者会議が北京ファッションデザインプラザで開催されました。カンファレンスのメインフォーラムでは、テンセントの著名な科学者でありマルチメディアラボのゼネラルマネージャーである劉山氏が「ビデオコーデックからインタラクティブ没入型メディアへ」と題した講演を行い、ビデオコーデック技術の進化と反復の分析と、新しいメディアとインタラクティブ没入型メディアの方向へのテンセントの探求と試みに焦点を当てました。

劉山氏は、世界的な流行により、多くの分野での活動がオフラインからオンラインに移行し、ネットワークデータ帯域幅への負担を軽減しながら高品質のサービスを維持する方法が、マルチメディア技術に対する要求を高めていると述べた。インターネット技術企業として、テンセントの事業の多くはマルチメディア技術と密接に関連しているため、ビデオのエンコードとデコード技術はテンセントが備えなければならない重要な中核能力です。

テンセントは、マルチメディア技術の革新において常に飛躍的な進歩を求めています。 2018年にH.266/VVC規格の策定に参加して以来、テンセントマルチメディアラボの約100の技術が同規格に採用され、世界第1位となっています。 AV1の商用化を積極的に推進するため、Tencent Cloudは2019年11月に中国初のAV1トランスコーディングをサポートするクラウドサービスプロバイダーとなりました。今年10月、テンセントは中国で先駆けてH.266 HD/UHDリアルタイムプレーヤーをリリースしました。

新しいメディアと没入型インタラクティブメディアに関して、劉山は、5G時代の到来により、ディープイマーシブメディアの広大な応用シナリオと商業空間が十分に活性化され、イマーシブメディア技術とリアルタイムメディア伝送技術の組み合わせにより、よりイマーシブなアプリケーションを生み出すことができると考えています。テンセントは現在、さまざまなビジネスの開発ニーズを満たすために、複数の没入型メディアソリューションを立ち上げています。

劉山氏はスピーチの最後に、テンセントは今後もマルチメディア技術の研究開発に積極的に投資し、オープンソースエコシステムの構築を推進し、開発者やパートナーに効果的なサービスとサポートを提供していくと述べた。

以下は劉山氏のスピーチの記録です。

リーダーの皆様、同僚の皆様、ゲストの皆様、こんにちは。私の名前は Liu Shan、Tencent Multimedia Lab のものです。今日は直接出席できないので大変申し訳ないのですが、ビデオで皆さんにシェアさせていただきます。本日ご紹介するトピックは、「ビデオのエンコードとデコードからインタラクティブな没入型メディアまで」です。

昨年のTechoでは、「ビデオ符号化・復号化技術とアプリケーション」についてプレゼンテーションを行いました。本日ご紹介する最初の主な内容は、過去 1 年間のビデオ エンコードおよびデコード技術の進化と反復についての簡単な紹介です。その後、Tencent Multimedia LabとTencent Cloudについて紹介し、新しいメディアとインタラクティブな没入型メディアの分野でのいくつかの探求と試みについて紹介します。

今年は特別かつ挑戦的な年です。世界的な流行病は私たちの生活に大きな変化をもたらしました。教育、オフィス、娯楽、販売などの分野での多くの活動が、流行によりオフラインからオンラインへと変化しました。マルチメディア技術は、これらのクラウド サービスに不可欠なサポートを提供します。 3月以降、世界的にビデオトラフィックが急増し、ネットワーク帯域幅が大きな圧迫を受け、過度のネットワーク圧迫による地域的なネットワーク停止が世界中で繰り返し発生しています。欧州委員会は、Netflixなどのオンライン動画サービスプロバイダーと話し合い、貴重なデータ帯域幅を自宅での仕事や勉強に使えるように、ピーク時の画質を下げるよう要請しなければならなかった。調査結果によると、ストリーミング メディア ソフトウェア市場の成長は 19% 加速しています。高品質のサービスを維持しながらネットワーク データ帯域幅の負荷を軽減する方法も、さまざまなマルチメディア テクノロジに対する要求を高めています。

同時に、ビデオ視聴品質に対する人々の要求は高まり続けています。より高い解像度、明るさと色のダイナミック レンジの拡大、より高いフレーム レートなどの技術指標と、VR360 や Freeview などの新しいメディア方式を組み合わせることで、ビデオ視聴の品質が向上するだけでなく、データ帯域幅に対する要件も高まります。インターネットトラフィックデータによると、2017年には標準解像度と高解像度のビデオコンテンツがそれぞれ約半分を占めました。 2019年までに標準画質コンテンツの割合が約1/3に低下し、高画質コンテンツが主流となり、超高画質コンテンツの割合が増加し始めました。 2022年には超高精細コンテンツの割合がさらに増加し​​、総トラフィックの約4分の1になると予想されています。同時に、中国産業情報ネットワークによると、中国の VR コンテンツ市場は 2016 年以降、毎年 2 ～ 3 倍の割合で成長を続けています。これらすべてにより、長年存在している技術分野であるビデオコーディング (つまりビデオ圧縮) は、今日でも依然として重要かつ必要なものとなっています。

テンセントはインターネットテクノロジー企業として、テンセントビデオ、微信、微信、QQ、教育、汎娯楽など、ビデオメディアフォーマットと密接に関連する多くの事業を展開しており、テンセントミーティングやテンセント教室などの製品も、今回の流行期間中にオンライン教育やリモートワークに大きく貢献しています。したがって、先進的で効率的なビデオエンコードおよびデコード技術も、テンセントが必要とし、備えなければならない重要な中核機能です。

簡単に振り返ると、過去 30 年間にわたって、世界中の多くの企業や研究機関が膨大なリソースを投資して、多くのビデオ コーディングおよびデコード技術を開発し、数世代にわたるビデオ コーディングおよびデコード標準を形成してきました。主流の標準には、ISO/IEC と ITU によって開発された国際標準、たとえばよく知られている MPEG-2、H.263、H.264/AVC、H.265/HEVC、そして今年 7 月に最終決定された H.266/VVC などがあります。テンセントは2018年初頭からH.26​​6/VVC規格の策定に参加し、過去2年間で標準化団体に数百件の技術提案を提出し、そのうち約100件の技術が標準規格に採用され、世界第1位となった。

同時に、テンセントと他のAOMediaメンバー企業は、昨年AOMdiaに正式に加盟し、AOMedia取締役会に参加した最初の中国企業となって以来、オープンソースエコシステムの拡大とAV1の商用化を積極的に推進してきました。 Tencent Cloudは昨年11月に中国で初めてAV1トランスコーディングをサポートするクラウドサービスプロバイダーとなった。テンセントは、次世代オープンソースビデオコーデック規格AV2の策定において、一般的なテスト条件、AV2要件文書など、多数の重要な提案を提供し、ブロック分割、フレーム内予測、変換、量子化、ループフィルタリングなどのコア技術分野をカバーする多数の技術を提供してきました。圧縮比向上への累積的な貢献は世界でも最高レベルにランクされます。 Tencent の専門家は、AOMedia 組織内の Google の専門家とともに技術インキュベーション グループの共同議長を務め、Facebook の専門家とともにソフトウェア実装ワーキング グループの共同議長を務めています。

当社は、国家標準の AVS の構築、推進、適用にも多大な投資を行っています。現在、Tencent Cloud は AVS2 および AVS3 HD/UHD リアルタイム トランスコーディングをサポートしています。また、テレビ局やその他の組織向けにAVSをプライベートに導入した実績もあります。

今年10月、H.266/VVC規格の最初のバージョンが完成してからわずか3か月後、テンセントは中国で初めてH.266 HD/UHDリアルタイムプレーヤーをリリースしました。このプレーヤーには、Tencent が独自に開発した H.266 ソフトウェア デコーダーが搭載されており、HD、UHD、画面コンテンツ共有シナリオのリアルタイム デコードをサポートし、そのパフォーマンス指標は国際的にトップクラスです。

現在ご覧いただいているのは、弊社がリリースした H.266 プレーヤーを使用して再生されている標準テスト シーケンスです。

ビデオ コーデック標準の各セットには、提案された各テクノロジのパフォーマンスをテストして、そのテクノロジを標準に採用するかどうかを決定するための一連の標準テスト シーケンスが必要です。

当社事業の代表コンテンツでもあるテンセントの象徴的なシーケンス「Honor of Kings」も、VVC標準のテストシーケンスセットに含まれています。

このプレーヤーは現在、開発者向けにオープンソース化されています。

Tencent Cloud はオープンソース コミュニティの構築に積極的に関与しており、また Tencent の高度な技術力を活かして、Tencent Cloud を通じてさまざまな業界の開発者にサービスを提供しています。製品設計の面では、テンセントは国内市場に焦点を当てるだけでなく、海外事業についても十分なレイアウトと配慮を行っています。テンセントクラウドは海外OTT市場向けに、一連のメディアサービス製品を開発し、国内製品の国際化と海外の開発者やサービスプロバイダーに十分な技術製品サポートを提供しています。メディアサービス製品シリーズは、RTP/HLS/DASHなど8つの一般的な海外ストリーミングメディアプロトコルを提供し、24時間365日安定したライブブロードキャストサービスを提供し、60以上の国と地域でのローカライズ展開をサポートします。

科学技術の急速な発展により、人々は従来の2次元ビデオを観るだけでは満足できなくなり、よりリアルで没入感のある体験を求めるようになりました。没入型メディアは、物理世界と仮想世界の融合と共生を実現することで、将来の私たちの生活や仕事の仕方を変える破壊的なトレンドの 1 つになると考えられています。 VRに代表される没入型メディアコンテンツ市場は近年大きく成長し、応用産業チェーンも急速に拡大し、応用分野もますます広がり、文化・観光、教育、娯楽、医療、製造などの業界に浸透しています。没入型メディア市場は2025年までに1610億米ドル（1611億米ドル）に達すると予測されています。そのため、より多くの企業やメーカーが没入型メディア技術の研究開発と生産への投資を増やしています。

より深い没入型体験は、主に現実のシーンの6DOF、より鮮明でスムーズなコンテンツ表示、マルチチャネルインタラクションなどに反映されます。VR、AR、ポイントクラウド、Freeviewなどのコアテクノロジーに依存し、画像、ビデオ、テキスト、サウンドなどの従来のメディアフォーマットと組み合わせ、圧縮、伝送、表示、インタラクションなどのリンクと組み合わせ、最終的に携帯電話、コンピューター、ヘッドマウントデバイス、大画面などのさまざまなデバイスを通じて提示されます。没入型アプリケーションシナリオの観点から、個人向けエンターテイメントの消費者市場からエンタープライズ市場の垂直産業アプリケーションシナリオへと発展しています。今後、5Gの大規模な普及、没入型メディアのハードウェアと技術のさらなる進歩、制作コストの削減、より高品質なコンテンツの開発により、没入型メディア製品とサービスが主流グループに採用され、ディープイマーシブメディアの広大な応用シナリオと商業空間が十分に活性化されるでしょう。

高品質で効率的なインタラクティブな没入型システムには、取得、処理、圧縮、送信から、解凍、後処理、レンダリング、インタラクションまで、複数の技術モジュールが含まれています。含まれるテクノロジには、投影、取得とスプライシング、FOV、適応伝送などがあり、関連する伝送プロトコルには、HLS、DASH、RTC などがあります。没入型メディア コンテンツのデータ量は、ここで紹介した VR360 コンサートやフリービュー バスケットボール ゲームなどの従来の HD/UHD ビデオよりもはるかに大きいため、これらすべての技術モジュールを効果的に組み合わせて最適化する方法は、高品質のエンドツーエンドのエクスペリエンスを提供するためにさらに重要かつ不可欠です。

没入型メディア技術とリアルタイムメディア伝送技術を組み合わせることで、より没入感のあるアプリケーションを生み出すことができます。たとえば、従来のビデオ会議では 1 つの固定レンズしか使用できないため、視野と対話性に一定の制限があります。没入型テクノロジーを組み込むことで、3 自由度および 6 自由度のオーディオビジュアル効果を作成できます。これを仮想会議室の設定と組み合わせることで、参加者にさらに包括的な会議情報とより充実した会議体験を提供できます。

ポイントクラウドは、没入型メディアの分野におけるもう一つの代表的な技術であり、過去 2 年間で注目を集めています。エンドツーエンドのポイント クラウド システムには、ポイント クラウド データの処理、圧縮、モデルの再構築とレンダリング、インタラクションなどの技術モジュールが含まれています。テンセントが独自に開発したポイントクラウドシステムは、動画や写真、奥行きなどの情報を通じて3次元の物体や空間を再構築することができ、展示会や不動産などのビジネスシーンで活用できる。ポイントクラウドは、3次元空間のドットマトリックスを使用して実際のオブジェクトやシーンを表現するため、高精度のポイントクラウドモデルを構築するために必要なデータ量が非常に膨大になることが考えられます。したがって、ポイント クラウド データの圧縮もポイント クラウド システムに不可欠な部分です。テンセント マルチメディアの専門家は、ポイント クラウド圧縮の国際標準の策定に積極的に参加し、その技術提案が国際標準に採用されました。彼らはまた、AVS ポイント クラウド タスク フォースの共同リーダーも務めました。

Tencent Cloud は現在、さまざまなビジネスの開発ニーズを満たすために、VR ビデオ ソリューション、Tencent Linjing 没入型ソリューションなど、複数の没入型メディア ソリューションをリリースしています。 Tencent の Linjing イマーシブ ソリューションは、完全な空間モデリング機能を提供し、H5 ページ、Android、IOS 携帯電話、ミニプログラムでのフルプラットフォームの表示と共有をサポートします。

徐々に5G時代に入ってきました。 5G ネットワークは超帯域幅と超低遅延を提供し、より多くのアプリケーションへのアクセスを可能にし、あらゆるもののインターネットを実現します。 5Gの影響により、メディアコンテンツの制作、取得、配信の方法は変化しています。 4K/8K であれ、VR/AR/MR/ポイント クラウドであれ、これらのアプリケーションは以前はネットワーク帯域幅によって制限されていましたが、5G によって飛躍的な進歩が期待できます。テンセントは今後もマルチメディア技術の研究開発に積極的に投資し、オープンソースエコシステムの構築を推進し、開発者やパートナーに効果的なサービスとサポートを提供していきます。

皆様ありがとうございました。