テンセントクラウドオーディオとビデオ技術開発サロン：実践的な知識と多くの利益が満載

[51CTO.comからのオリジナル記事] 近年、モバイルインターネットの普及とスマート端末機器の広範な使用により、ショートビデオ、ライブ放送、オンライン授業など、さまざまな形式の音声およびビデオ通信モードが一般の人々の間で人気を博し、人々の日常的なコミュニケーションの新しいモードになっています。オーディオおよびビデオ機能は、ユーザーのコミュニケーションに利便性をもたらすだけでなく、アプリケーションプラットフォームに革新的なアイデアを刺激し、オーディオおよびビデオ機能に基づくビジネスモデルを開発します。非常に「一般的に」使用されている音声およびビデオ通話機能、または非常に「クール」に使用できるショートビデオ機能は、基礎となる技術の開発に多大な労力を必要とすることは否定できません。

テンセントは、QQやテンセントビデオなどの大規模事業の発展を通じてオーディオとビデオの分野で長年蓄積してきたコアテクノロジーと優位な能力に依存し、統合クラウドビデオソリューションを統合し、オンライン教育、ビデオソーシャルネットワーキング、ビデオウェブサイトニューメディア、ラジオとテレビネットワークテレビなどのアプリケーション領域向けに、基本的なウェブサイトとデータ、コンテンツの制作と配信、ユーザーとコンテンツの操作を含む一連のサービスを提供しています。オーディオ・ビデオ業界のリーダーともいえる存在です。

オーディオとビデオ技術の研究開発における敷居の高さと多額の投資という問題点を解決するために、Tencent Cloud+ コミュニティは、オーディオとビデオ技術開発に関する実践的なサロンイベント「Audio」for You、「Visual」for You を立ち上げました。イベントでは、テンセントビデオクラウドのシニアプロダクトマネージャーの王奇氏、テンセントオーディオアンドビデオラボのシニアエンジニアの張克氏、OnVideoビデオ作成プラットフォームのCTOである劉奇氏、テンセントのシニアプロダクトマネージャーの董毅氏、テンセントビデオクラウドターミナルのテクニカルディレクターの張青氏が素晴らしいスピーチを披露しました。

Tencent Video Cloud 製品概要

Qi Wang シニアプロダクトマネージャー、Tencent Video Cloud

王奇：2011年に卒業した後、Huawei、Wangsu、Tencentでプロダクトマネージャーとして働きました。私は、無線ネットワーク通信、ライブ放送、インタラクティブライブ放送、リアルタイムオーディオおよびビデオなどの製品の需要計画、市場分析、宣伝およびプロモーションを担当していました。顧客のニーズを身近に知り、洗練させ、より合理的な形で実現できるようになりました。私はオーディオおよびビデオ業界の発展動向について深い理解を持っています。

ビデオ業界の発展、白黒テレビからカラーテレビへ、オンラインオンデマンドビデオから何千ものライブ放送へ、ライブ放送のやりとりからリアルタイムの音声およびビデオ通信まで、ビデオは情報取得におけるユーザーの悩みを解決してきました。今後は、エンターテインメントとソーシャルインタラクションを組み合わせられるか、あるいはユーザーがアイデンティティや自尊心を獲得できるかが、ユーザーの定着率を向上させるための重要なポイントとなるでしょう。情報取得においては、コンテンツが最も重要です。ライブストリーミング後の短編動画の増加には理由がないわけではありません。最後に、コンテンツの生成からコンテンツの消費までのループを閉じるために、新しい業界のテクノロジーをどのように組み合わせるかが、Tencent Cloud の計画における重要なポイントです。

Tencent Cloudは10年以上にわたり、QQ、WeChat、QQ Spaceなどの事業にインターネットサービス機能を提供しており、企業にIaaS、PaaS、SaaSを含むパブリッククラウド、ハイブリッドクラウド、プライベートクラウド、金融ゾーンなどのクラウドサービスを提供しており、万向Youtu、顔認識、ビッグデータ分析、機械学習、オーディオおよびビデオ技術、セキュリティ保護などの世界をリードするインターネット技術を提供しています。同時に、さまざまな垂直産業（政府関係、電子商取引、O2Oサービス、ゲーム、ライブビデオ、インターネット金融など）の顧客に高品質の業界ソリューションを提供しています。

Tencent Cloud は、テンセントとインターネットエコシステムをつなぐ重要な架け橋であり、オープン戦略の重要な一部であり、スピード、安定性、セキュリティを競争の中核とする 3S ブランドコンセプトを固く信じています。同社は今後もクラウドインフラへの投資を拡大し、クラウドコンピューティング分野における「インターネット+」の実践において各界のパートナーを全面的にサポートし、共同でクラウドエコシステムを構築していく。

次に、王奇氏はオンデマンド、ライブ放送、リアルタイムオーディオとビデオ、ショートビデオ、ビデオ+AIの5つの製品について詳しく説明しました。

2018 テンセントクラウドビデオおよびコミュニケーション製品マトリックス

1. オンデマンド

制作コストや再生方法によって、大きく4つのカテゴリーに分けられます。Youku、Tudou、Tencent VideoなどのPCビデオ。 Mango TVやCNTVなどの従来の放送;最近人気の短編動画。 2015年と2016年に特に人気があったのは、ライブ放送コンテンツを録画し、オンデマンドコンテンツに変換できるライブ放送アプリケーションです。

Tencent Cloud のオンデマンドサービスは、UGC コンテンツ、著作権で保護されたビデオ、セルフメディアコンテンツ、ライブブロードキャスト録画をサポートします。ビデオは、ショートビデオ SDK、WebSDK、ローカルアップロード、およびホットストレージとコールドストレージ、およびビデオメディアアセット管理用の API アップロードを通じてクラウドにアップロードできます。オンデマンドコンテンツを差別化できます。オンラインで再生する必要がない場合は、コールドリソースとして保存され、いつでも呼び出すことはできません。

2. ライブ放送

ライブストリーミングプラットフォームにおける非常に明らかなトレンドは、「ライブストリーミング +」です。ライブ放送とオンデマンドビデオの本質は、情報を伝達することです。基本的なネットワークインフラストラクチャが改善されると、ビデオは必然的にさらに多くの情報を伝送できるようになります。

さらに、「インタラクション」と「広告」もライブストリーミングプラットフォームにおける2つのトレンドです。

ライブストリーミングは、オンデマンドストリーミングと同様に、非常に難しい技術です。基本的なサービス、オーディオおよびビデオコンピューティング、ライブブロードキャストアクセラレーションネットワーク、端末機能、ソーシャルインタラクションシステムが必要です。多くの人材と時間が必要です。 Tencent Cloud はこの基本的な機能を抽出し、すべての人にプラットフォームサービスを提供しています。信頼できるアンカーがあれば、数週間ですぐにオンラインにすることができます。現在、トップ 100 のライブストリーミングプラットフォームのうち 80% 以上が Tencent Cloud のサービスを利用しています。これは、Tencent Cloud が 10 年以上にわたって蓄積してきたオーディオおよびビデオ技術によるものです。

3. リアルタイムのオーディオとビデオ

現在、テンセントクラウドは、APPをベースとしたWeChat公式アカウントやWeChatミニプログラムのほか、モバイルQQやGoogle Chromeなど、さまざまな端末での通信に相当するマルチ端末通信機能を提供しています。これはTencent Cloudのビデオ通信機能です。

Tencent Cloud のリアルタイムオーディオとビデオは、Tencent の社内オーディオとビデオのニーズを 80% サポートします。外部顧客は400社以上あります。

4. 短い動画

「TikTok が持つすべての SDK を備えています。」ショートビデオはオンデマンドビデオの一種です。違いは、ショートビデオには、収集と撮影、編集と結合、特殊効果の制作、字幕のミキシング、ダイナミックステッカーなど、多くの機能が用意されていることです。 SDK は VOD バックエンドにシームレスに接続されており、アップロード、トランスコード、ストレージ、配信を含むすべての VOD 機能が相互運用可能です。

5. ビデオ + AI

ビデオ + AI には、超高速 HD、インテリジェント字幕、音声認識など、多くの AI 関連機能が含まれます。

Tencent Cloud H5 双方向オーディオおよびビデオ音声品質の最適化

張克シニアエンジニア、Tencent Audio and Video Lab

張科は2004年に就職し、2011年にテンセントに入社しました。現在はテンセントオーディオアンドビデオラボでシニアエンジニアとして働いています。 QQが自社開発したオーディオ・ビデオエンジン「SPEAR」の設計・開発・運用を担当。近年は、QQ音声通話、Tencent CloudリアルタイムSDK、Tencent Cloud H5双方向オーディオおよびビデオ、ゲームマルチメディアエンジンGMEのQOEの向上に注力しています。

CallStatus.io が途中で中断されました。ユーザーからのフィードバックの 10%～15% で通話品質が悪いと報告されています。約 7% で大きなパケット損失が発生しました。約 95% のユーザーでは、ラウンドトリップ損失が 240 ミリ秒未満でした。

H5双方向オーディオおよびビデオ（T-H5）は、QQの10年以上のオーディオおよびビデオ通話技術の蓄積に基づいてTencent Cloudが開発した製品であり、TencentブラウジングサービスTBS WebRTC機能とTencentリアルタイムオーディオおよびビデオSDKを組み合わせて、マルチプラットフォームで相互運用可能な高品質のビデオ通話機能を顧客に提供します。エンドユーザーは、モバイル QQ/WeChat/QQ ブラウザや TBS に接続されている他のすべてのアプリの H5 ページからビデオリクエストを開始するだけで、同社のリアルタイムビデオサービスに簡単にアクセスできます。

H5 双方向/多方向オーディオおよびビデオソリューションは、3 つの差別化されたサービス品質を提供します。

1: TBS と Chrome ブラウザは相互に通信でき、WebRTC 仕様の相互運用性をサポートします。

2: TBS 間の相互通信は依然として WeBRTC の相互通信ですが、いくつかの WeBRTC カーネルレベルのバグ修正といくつかの高度な拡張を行うことができます。

3: TBS と NativeSDK は相互運用可能であり、差別化された通信品質を提供します。

サーバー側で実装されたSFU/MCUの品質管理の概略図

上図はバックグラウンドオーディオ品質管理システムの概略図です。トポロジレベルでは、SFU と MCU の 2 つのモードが提供されます。また、転送プロセスの品質を確保するために、3 段階の意思決定メカニズムが使用されます。

Zhang Ke 氏は、FEC アプリケーションの重要なポイントである「優れた FEC アルゴリズムの設計」を要約しました。

1: パケット損失防止アルゴリズムは輻輳制御アルゴリズムに含まれ、ネットワークに適応する必要があります。これは非常に重要な前提条件です。

2: パケット損失防止機能を確保しながら冗長トラフィックを削減する方法。

3: さまざまな FEC メカニズムの利点を最大限に活用する方法: シーンフィードバック。

4: FEC アルゴリズムとパケットサイズの選択では、トラフィック、遅延、およびパケット損失防止パフォーマンスへの影響を考慮する必要があります。これは一般的な考え方です。

5：動的冗長率メカニズム、収束速度。

6: FEC効果評価。

7: 1 対多のシナリオでは、受信チャネルごとにカスタマイズされた FEC 保護ソリューションが必要です。

張科氏は、最適化は終わりのないテーマだと語った。 2日前にリリースされたM56からM66まで、WebRTCは1,000以上のバグを解決しました。

オンラインオーディオおよびビデオ素材作成の合法化の実用化

OnVideoビデオ制作プラットフォームのCTO、Liu Qi氏

劉琦さんは2007年に卒業し、働き始めました。グラフィック、画像、オーディオ、ビデオストリーミング関連の仕事に従事。彼は FFmpeg の公式コード開発者およびコンサルタントです。彼は、ChinaCache、Gaosheng、Kingsoft Cloud でアーキテクト/テクニカルディレクター/シニアテクニカルエキスパートとして勤務してきました。彼は現在、素材の集約、オンラインオーディオおよびビデオ処理などを主に含むオンラインマルチメディア作成プラットフォームを開発するビジネスを立ち上げています。彼は「FFmpeg From Beginner to Mastery」の著者です。

OnVideo は、誰もがプロ級のビデオを素早く作成できる、プロ級のクラウドベースのビデオ作成プラットフォームの構築に取り組んでいます。

OnVideo には、クラウドベースの素材集約、素材のカットと微編集、マルチプラットフォームの公開と操作、超高精細ビデオの生成、グローバルノードの展開などの主な機能があります。

そのうち、クラウドベースの素材収集には、国内のビデオ素材のドッキングと処理、海外のビデオ素材のドッキングと処理、非従来型のウェブサイト素材の処理が含まれます。素材のカットと編集では、オーディオとビデオに対して、カットとスプライシング、トランジション効果、テキスト処理、テンプレートのカスタマイズ、フィルター処理、色調整などの操作を実行できます。マルチプラットフォームの公開と操作は、国内のビデオプラットフォームの公開インターフェイスだけでなく、海外のビデオプラットフォームの公開インターフェイスにも接続できます。超高解像度ビデオ生成には、主に敵対的生成ネットワークを使用した超解像度 (SRGAN)、超解像度畳み込みニューラルネットワーク (SRCNN)、および Tencent Cloud の Mingmu ソリューションが使用されます。 OnVideo は、中国本土、東南アジア、ヨーロッパ、米国にノードを展開しています。

幅広いカテゴリをカバーする、さまざまなオーディオおよびビデオ処理素材ライブラリがあります。 UGC事業であるため、素材のアップロード効率が低い、さまざまな形式の互換性、メタデータコンテンツのサポート、スプライシング処理のサポートが異常であるなど、PGCおよびUGC技術に問題があります。一方で、ユーザー動画素材にポルノやテロリズムに関わるものや、ユーザー動画コンテンツが一線を越えるなどの問題もあります。合法化とセキュリティの問題を解決するために、OnVideo は Tencent Cloud Platform を採用して関連処理を実行し、根本的な問題を解決しました。

OnVideo は今後も、自動ビデオ配置、自動ロゴ削除、AR サポートなどの機能に取り組んでいきます。

ミニプログラムにおけるオーディオとビデオの典型的な応用シナリオの分析

[[227436]]

ドン・イーテンセントビデオクラウドシニアプロダクトマネージャー

Dong Yi 氏は、LeTV Cloud と Tencent Cloud で勤務したことがあります。現在、Tencent Cloud Mini Program Solutions のプロダクトマネージャーを務めています。業界の徹底的な調査、革新の繰り返しの試み、業界の実装が得意です。

ミニプログラムでのリアルタイムオーディオとビデオの使用は、WeChat の開発における大きなトレンドです。ミニプログラムは効率化のために生まれ、オーディオとビデオの統合により、より高速で便利なサービスモデルが提供されます。まず、H5と比較すると、ミニプログラムはより優れたエクスペリエンスを提供します。第二に、量の利点により、短い動画の方が価格が安くなります。 3 番目に、ミニプログラムはより優れた共有体験をもたらします。

ノイズ除去、エコー抑制、QoS フロー制御、パケット損失回復などは、オーディオおよびビデオ機能を独自に実装する際に直面する困難です。 WeChat では、オーディオとビデオに関してもより厳しい要件が設けられています。

WeChat は、オーディオとビデオに必要な端末機能をカプセル化し、ミニプログラムタグの形式で開発者に提供します。

Tencent Cloud は、WeChat エコシステムをサポートするための基盤となるオーディオおよびビデオコンポーネントを提供します。 Tencent Cloud のミニプログラムソリューションを使用すると、顧客はオーディオおよびビデオ処理技術全体を考慮する必要がなく、ビジネス部分の完了にのみ集中できます。

次に、董毅氏は教育や医療などのシナリオにおけるミニプログラムのオーディオとビデオの実装について共有しました。

小さなプログラムのオーディオおよびビデオアプリケーションを構築する

究極のシンプルさは、Tencent Cloud のオーディオおよびビデオミニプログラムソリューションの製品コンセプトです。

董毅氏はオンライン自動車保険請求のビジネスシナリオモデルを詳しく紹介しました。保険金請求のプロセスは長く、経験も乏しく、APP の開発は費用対効果が高くありません。

その中には、報告、調査、補償という 3 つの中核となるプロセスがあります。ケースを報告する際に最初に考慮すべきことは効率性です。捜査の過程では、写真が簡単に偽造される可能性があります。リアルタイムの通話通信がよりスムーズで信頼できるものになることを保証することが最も重要です。

WeChatミニプログラム: 自動車保険請求

ワンクリックレポート、インテリジェントな損害評価、座席写真撮影により、イントラネットの浸透、ハードウェア実装、トラフィック変換の問題が根本的に解決されます。

司法の場面でも問題点は数多くあります。まず第一に、裁判所にとって、当事者が他の都市にいる場合、何度も往復する必要があり、多くの時間と労力を消費します。しかし、民事・商事の簡易手続きや少額訴訟においては、判決結果について当事者間で争いが生じることは少ないでしょう。第二に、検察の場合、弁護士は事件ファイルの閲覧、意見の聴取、弁護士との面談のために検察に出向き、選任申請書を提出する必要がある。検察官は、申請書を該当の担当者にフィードバックして受付時間を調整し、その後、電話またはテキストメッセージで弁護士に現場に出向いて業務を処理するよう通知します。手続きは複雑で、弁護士は出張に多くの時間を費やす必要があります。第三に、司法局にとって、法律相談は極めてプライベートなものであり、一般の人々は現場でサービスを利用することに消極的であり、また、市内の数十人から数百人の弁護士が毎日コールセンターで公衆電話の問い合わせに応答することにも消極的であり、これは非常にコストがかかります。人々の調停の形態は単一であり、ほとんどがオフラインであり、調停の地理的制約から効果的に脱却することができません。

スマートジャスティス：情報をより多く伝え、人々の移動を減らす

上の写真はコートミニプログラムのデモです。当事者は、ミニプログラムを通じて、登録、相談ガイダンス、紛争申請、審査提出、遠隔調停合意書の署名までの全プロセスを完了することができます。すべてのトランスクリプトは、インテリジェントな音声認識によって自動的に記録されます。紛争案件を迅速かつ効果的に処理できるため、人々があちこち走り回る手間が省けます。

このミニプログラムにより、当事者は何度も裁判所に出向くことなく、公判前指導、訴訟提起、訴訟、裁判、書類送付の全プロセスを完了することができ、労力と時間を大幅に節約できます。フルリンク暗号化では、セキュリティを確保するために毎回異なる非対称キーが使用されます。インテリジェントなトランスクリプトにより、裁判の全内容を書き起こして復元できるため、事務員の作業負荷が大幅に軽減されます。

一般の人々は、ワンクリックで司法知識を学び、法律相談を開始することができます。プライバシーを確保するために、リンク全体が暗号化されます。使いやすく宣伝も簡単です。弁護士への相談は場所によって制限されず、弁護士のリソースをより広範囲に動員してコストを削減できます。また、ミニプログラムビデオを通じて遠隔から予約したり、オンラインビデオ調停を申し込んだりすることもできるため、地理的な制約から解放され、業界特有の専門的な調停を的確に扱うことができます。

ミニプログラムは、実在の人物による本人確認を通じて弁護士の身元を確認することができます。弁護士は検察庁に行く必要はなく、オンラインで予約を取り、オンラインで事件担当者と「対面」で意見を聞くことができます。これにより、悪天候の影響を受けず、何度も往復する必要がなくなります。

本人確認プロセス全体には、ID カード OCR、唇の動きによる生体認証、顔認識テクノロジーが含まれます。顔認識プロセス中、Tencent Youtuテクノロジーは携帯電話で撮影した自撮り写真を公安部のID照会センターに保存されているIDカードと比較し、ユーザーの身元の信頼性と安全性を確保します。

董毅氏は、政策遵守の観点から、WeChatはミニプログラムの音声・動画機能を社会、教育、医療、政務・民生、金融の分野にのみ開放しており、それぞれの分野には関連する資格要件が多数あると述べた。

ミニプログラムにおけるオーディオ・ビデオ技術の実装と関連産業における実用化

[[227437]]

テンセントビデオクラウドターミナルのテクニカルディレクター、チャン・チン氏

チャン・チンは2008年に卒業し、テンセントに入社した。クライアントのR&D関連業務に従事。 PC QQ、モバイル QQ、QQ IoT などの製品プロジェクトに参加しました。現在は、Tencent Video Cloud チームでオーディオおよびビデオ端末ソリューションの最適化と実装を担当し、制御可能な R&D コスト投資で顧客が業界トップクラスのオーディオおよびビデオソリューションを入手できるように支援しています。現在の製品ラインには、インタラクティブライブブロードキャスト、オンデマンド、ショートビデオ、リアルタイムビデオ通話、画像処理、AI などが含まれます。

Chang Qing 氏の講演では、市場の見通し、原理分析、技術の進化、WebRTC、クイックスタートの 5 つの側面について説明しました。

オーディオとビデオの機能は常にミニプログラムの欠点であり、WeChat 製品の市場ポジショニングはユーザー向けです。これにより、会社に比較的高い要求が課せられます。まず、オープンソースである必要があります。 2 番目に、インターフェースはシンプルで、1 つまたは 2 つのタグで完了できる必要があります。 3 番目に、高度なカスタマイズが可能であること。 4 番目に、問題が発生した場合に簡単に確認できることが必要です。 2017年第4四半期、テンセントビデオクラウドターミナルチームはWeChatチームと協力して、テンセントビデオクラウドの技術蓄積をSDKの形でWeChatバージョンに実装し、ミニプログラムにライブブロードキャストとリアルタイムオーディオおよびビデオ機能を追加しました。

タグ + カーネル

オーディオおよびビデオソリューションでは、すべての問題をアップリンクとダウンリンクに分割することで簡単に解決できます。

アップリンクとは、オーディオとビデオの画像とサウンドをクラウドに送信することを意味し、いくつかの基本的なプロセスを実行する必要があります。 1 つ目は、画像や音声などのアナログ信号を収集し、それをデジタル信号に変換します。収集後、基本的な処理とノイズ低減が行われます。 2番目はエンコードです。ネットワークを生成したら、サーバーにアップロードします。

下降傾向の場合はその逆になります。ネットワークは常に安定しているわけではないので、バッファリングが大きくなる問題を解決するには、プレーヤーに「緊急倉庫」を用意する必要があります。

テクノロジー進化ロードマップ

上図に示すように、オンラインライブブロードキャストからリモートコントロール、双方向ビデオ、そして複数人のビデオに至るまで、UDPアクセラレーション、遅延制御、ノイズ除去、エコー抑制、QoS、パケット損失回復、ルーム管理、IMシステムなどの技術が追加されてきました。

ミニプログラム vs WebRTC

ミニプログラムと WebRTC にはそれぞれ利点がありますが、この 2 つを統合すると、半分の労力で 2 倍の結果が得られます。

ミニプログラム + WebRTC

最後に、Chang Qing 氏は、Tencent Cloud のオーディオおよびビデオソリューションをすぐに使い始めるための手順を次のようにまとめました。

1. Tencent Cloudへのログインを許可します。

2. タグの使用権限を有効にします。

3. Tencent Cloud サービスを有効にします。

4. アプレット開発ツールをインストールします。

5. デモをダウンロードします。