OPPO クラウド レンダリング シナリオにおける低遅延オーディオおよびビデオ技術の応用

1. クラウドレンダリングシーンの伝送要件と課題

まず、クラウド レンダリング ビジネスの音声およびビデオ伝送の要件と、それが直面する課題の一部を紹介します。

1. クラウドレンダリングシーンアプリケーション

インターネット技術の発展に伴い、オーディオおよびビデオ アプリケーションは次の 3 つの段階を経てきました。

第一段階は主に2008年から2013年までの3G時代でした。主に長時間動画をベースとし、PDNオンデマンドとVODオンデマンドを中核技術としていました。

第2段階は2013年から2019年で、4G時代に入り、ライブ放送、ショートビデオ、オーディオおよびビデオテクノロジーなど、多くのオーディオおよびビデオ製品が誕生しました。

第三段階は2019年から現在までで、5G時代に突入しています。 5Gとクラウドインフラの発展により、オーディオとビデオ技術の発展余地が広がり、オーディオとビデオ技術は繁栄期に入りました。この時期のアプリケーションとテクノロジーには、主にクラウド会議、インタラクティブライブブロードキャスト、リモートコラボレーション、XR、クラウドゲーム、フリーパースペクティブなどが含まれます。

クラウドレンダリングとは何ですか?つまり、クラウド レンダリングはクラウド コンピューティングのパワーを使用して端末のコンピューティング パワーのボトルネックの問題を解決し、端末側のコンピューティング パワーの圧力を軽減します。主なシナリオには、仮想ソーシャルネットワーキング、仮想スタジオ、仮想コンサート、クラウドゲーム、リモートコラボレーションなどがあります。

クラウド レンダリング プラットフォームは、クラウド コンピューティング能力とオーディオおよびビデオ テクノロジーの助けを借りて、次世代のマルチメディア相互接続の開発をリードします。

2. クラウドレンダリングプラットフォームのアーキテクチャ

クラウド レンダリング プラットフォームは主に 2 つの部分で構成されています。最初の部分はクラウド レンダリング プラットフォームであり、2 番目の部分はクロス ターミナル プラットフォームです。 2 つの部分は、ネットワーク伝送に依存するストリーミング技術によってリンクされています。基本的な原理は、3D アプリケーションをレンダリングしてクラウドで実行し、端末の制御命令を受信して​​対応するオーディオとビデオ画像をレンダリングし、ストリーミング技術を通じてネットワーク経由でエンドユーザーにプッシュして体験してもらうことです。

ストリーミングは、クラウド レンダリング サービスのユーザー エクスペリエンスの中核です。クラウド レンダリングは、ローカル アプリケーションのコンピューティング能力をクラウドに移動しますが、ローカル アプリケーションと同じエクスペリエンスを提供する必要があります。経験上、クラウド レンダリングにはストリーミング伝送に関して 2 つの要件があります。

① 没入型の超高精細体験を実現する方法：クラウド会議やオンライン授業など、従来のオーディオやビデオと比較して、クラウドレンダリングでは高精細な体験を実現する必要があります。以前の1080Pと720Pの解像度では、1〜2Mの帯域幅が基本的に満たされていましたが、現在、ビデオ画像は4K、8K品質などのより高解像度であり、オーディオとビデオの伝送負荷は、元の1Mレベルから10Mレベルに変化し、自由に視聴できるシーンは100Mレベルにまで達します。

②リアルタイムインタラクションを実現する方法：ゼロ遅延は相対的な概念です。遅延がゼロということは、ユーザーが遅延を感じないことを意味します。現在、100 ミリ秒の遅延でユーザーに優れたエクスペリエンスを提供でき、将来的には 100 ミリ秒の遅延がトレンドになるでしょう。

2. RTCとクラウドレンダリングサービスの組み合わせ

この章では、OPPO のクラウド レンダリング シナリオと RTC の組み合わせ、伝送アーキテクチャに対する調整を紹介し、優れた実践例をいくつか紹介します。

1. CloudRTCをベースとしたクラウドレンダリングプラットフォーム伝送アーキテクチャ

まず、製品のアーキテクチャです。クラウド レンダリング プラットフォームの伝送アーキテクチャは、プッシュ ストリーム エンド、プル ストリーム エンド、クラウド転送など、従来の RTC アーキテクチャに似ています。違いは、エッジ クラウドとメディア転送サービスが同じコンピューター ルームまたは同じネットワーク ソース ポイントにあることです。

ストリーミング側では主にクラウド レンダリング アプリケーションが展開され、エッジ コンピューティング クラスターと仮想化 GPU クラスターはすべてこの部分に含まれます。

クラウド サービスには 3 つの部分が含まれます。

最初の部分はシグナリング アクセラレーション サービスであり、ユーザー アクセス、トラフィック スケジューリング、ユーザー管理、ルーム管理などを担当します。

2 番目の部分は、従来の RTC とは少し異なるメディア転送サービスです。クラウドレンダリングアプリケーションに応じてSFU/PTPアーキテクチャを提供し、転送とポイントツーポイントの直接接続を提供します。メディア転送サービスは、クラウド レンダリング プラットフォームの 2 つのデータ ストリームを担当します。 1 つ目はメディア ストリーム (オーディオとビデオのストリーム) であり、2 つ目はコントロール ストリーム (クラウド レンダリング プラットフォームに対するユーザーの逆インタラクティブ コントロール指示) です。

3番目の部分はストリーミングサービスです。ストリーミング再生により、IoT デバイス、ヘッドマウントディスプレイデバイス、時計、マウスとキーボード、コントローラー、タブレット、携帯電話、コンピューターなどのより多くのエンドサイドデバイスへの適応が可能になります。

次に、調整されたクラウドレンダリングフルリンクストリーミングソリューションの伝送アーキテクチャについて全体的に紹介します。上の図に示すように、アーキテクチャは 3 つの主要モジュールに分かれています。

①クラウドプラットフォーム：レンダリングアプリケーションの中核モジュール。

②ストリーミングモジュール：取得エンコード、ネットワーク伝送、デコード、逆指示伝送などを含む。

③端末表示：指示書収集等を含む

全体的なプロセスを上の図に示します。このプロセスには強調する必要がある技術的なポイントがあります。プロセス全体を通じて、コマンド取得とオーディオおよびビデオ ストリームを同じネットワーク ソース、つまり同じ伝送プロトコルに配置し、シグナリングを通じてコマンド取得を送信します。コマンド送信とオーディオおよびビデオを同じチャネル経由で送信することで、遅延をより適切に制御できます。このソリューションは、新世代の OPPO クラウド レンダリング プラットフォーム上でリリースされました。

3. 低遅延ストリーミング技術の探究

この章では、低遅延テクノロジー、特に RTC、ストリーミングなどのテクノロジーの調査と実践について紹介します。

1. クラウドレンダリングストリーミングレイテンシの最適化

全体的なレイテンシの最適化は、分解すると次の 3 つの部分に分かれます。

①コレクションコーディングの最適化。

② 伝送の最適化。

③受信側の最適化

2. 取得コーディングを最適化する

取得コーディングの最適化には、主に 2 つの部分があります。

（１）GPUエンコーディング方式

GPU エンコード方式の調整には、レンダリングされた画像が表示された後に画面またはウィンドウを介して収集し、エンコードのためにエンコード モジュールに送信することが含まれます。さらに、GPU の利点を活かし、GPU 上でレンダリングとエンコードを行うことでゼロコピー エンコード スキームが導入されます。

ゼロコピー エンコーディング ソリューション:クラウド レンダリング エンジンを通じてフック関数を設定します。レンダリング画面が出ると、フック関数を通じてフレームバッファ内のデータがソートされ、フレームバッファ内のデータが共有テクスチャにコピーされます。共有テクスチャ イメージは、GPU と CPU 間の元のデータのコピーを回避するために、GPU を使用してエンコードされます。動画取得処理とエンコードをGPU内部で完結することで、効率が大幅に向上し、CPU消費も削減されます。エンコーディング モジュールはデータをクラウド ストリーミング エンジンに送信し、ネットワーク経由で送信します。これにより、レイテンシの面でもいくつかの利点があります。

（２）低遅延エンコーディングソリューション

①適応符号化：伝送と制御を組み合わせ、ネットワーク品質や伝送品質に応じて適応符号化とビットレート調整を行います。

② 前方誤り訂正技術：誤り訂正技術と組み合わせて、ネットワークパケット損失に対して動的冗長符号化を実行し、ソース符号化インターリーブを実行します。

③ ROIエンコーディング： ROI関心領域エンコーディングにより、一部のエンコーディングビットレートを削減し、画質を向上させることができ、ローコードで高解像度を実現します。

④ 階層化コーディング：階層化コーディングには、SVCコーディングと一部のCmucasコーディングが含まれており、弱いネットワークに対する耐性と、弱いネットワーク状況での再送信圧力を実現します。

⑤ LTRエンコーディング： LTRクエリ参照フレームエンコーディングの導入により、エンコーディング方式においてより低遅延の選択性が実現されます。

3. 伝送最適化 - GCCベースの最適化ソリューション

トランスポート層の最適化内容を見てみましょう。

（１）輻輳制御最適化ソリューション：OPPOのRTCはWebRTCの進化に基づいており、制御アルゴリズムはGCCの最適化ソリューションに基づいています。低遅延予算の条件下では、ネットワーク輻輳が発生するとメディア伝送のビット レートがいくらか低下し、より深刻なネットワーク輻輳を回避し、パケット損失の再送信と遅延の増加を減らします。

① 帯域幅評価

1) 遅延およびパケット損失予測モデルに基づいて重み付けパラメータを調整し、敏感な環境に対するネットワークの耐性を向上させます。

2) 検出プロセス中に、帯域幅推定フィードバックサイクルのフィードバックを最適化するために高速収束戦略が採用されます。

② ペーシングフロー制御送信

1) ネットワークが良好な場合は、フロー制御の過剰送信パラメータを調整して、一度に送信するデータの量を増やし、単一フレームの送信の遅延を減らします。

2) Pace+Probe ソリューションを使用して、ネットワーク帯域幅をより積極的に検出し、帯域幅の使用率を向上させます。

4. 伝送最適化 - スムーズさを優先するQoS戦略

次に、伝送アルゴリズムにおける重要な内容である QoS 戦略について紹介します。

図には QoS 戦略が示されており、エンコード、送信、受信プロセス中にフレーム損失を検出して回復する方法、さまざまな手段でフレーム損失の問題を解決し、QoS を最適化してスムーズさを確保する方法を示しています。 QoS スムーズネスの優先順位の最適化戦略には以下が含まれます。

（１）HARQ動的冗長戦略

再送信と FEC テクノロジーを最適化し、事前冗長化ソリューションを使用してパケット損失前に一定量の冗長性を提供し、ローカル帯域幅を犠牲にして再送信遅延を削減します。

（２）非対称保護

情報ソースに応じて、さまざまな保護戦略が実装されます。弱いネットワーク シナリオでは、SVC 階層化コーディングを使用してフレームをアクティブにドロップし、P フレームの再送信戦略を削減して、送信帯域幅を削減し、ネットワークの輻輳を緩和します。

流暢性を優先する QoS 戦略により、レイテンシと帯域幅のより良いバランスを実現できます。

5. 受信機の最適化 - ゼロキャッシュ再生

受信側の最適化について以下に説明します。オーディオとビデオは、再生のためにクライアントに送信される前に、ジッター防止、デコード遅延、レンダリング遅延、そして最後に受信側への遅延という 3 つの段階を経ます。

受信側の遅延最適化戦略は次のとおりです。

（１）ジッターバッファアルゴリズムを調整する

「1フレーム入力、1フレーム出力」という考え方を採用し、低遅延ジッター評価ソリューションを再構築し、フレーム間の差異によって発生するジッターを弱め、バッファキャッシュを制御してデコーダーに出力し、より高速かつタイムリーにデコードできるようにしました。

（２）低遅延デコード

ハードウェアが貧弱なデバイスの場合、ソフトウェアとハ​​ードウェアのデコードソリューションの組み合わせが採用され、エンドサイドデバイスに基づいてデコードタイプが選択され、高効率と低レイテンシの目標を達成します。

6. レイテンシテストデータとアプリケーションの影響

上の図は、最適化されたレイテンシ実験のテストデータを示しています。

左の画像は、RTC シナリオに基づくテスト データです。遅延は約 180 ミリ秒で、ネットワーク シミュレーション全体の遅延は 50 ミリ秒です。最適化された低レイテンシのテストデータは約 100 ミリ秒です。エッジノードを通じてネットワーク遅延をさらに削減できます。

右の写真はOPPOの3D仮想データセンターです。最適化された RTC テクノロジーに基づいて、全体的なレイテンシとエクスペリエンスが向上しました。

IV.要約と展望

最後に、低レイテンシアプリケーションの展望についてお話ししましょう。

既存のストリーミング技術は数百ミリ秒のレベルに達していますが、より高い基準の「レイテンシーフリー」を達成するには、レイテンシーをさらに最適化する必要があります。今後の展望としては、主に3つあります。

（１）コンテンツ制作：クラウドアプリケーションとストリーミングをより密接に連携させるなど、制作の送信側を最適化することで、「制作側＋送信側」のよりクローズドなループを実現できる。

（２）クラウド：クラウド上の低コストのインフラストラクチャを活用し、エッジノードと組み合わせることで、グローバルネットワークを実現し、アクセスコストとレイテンシを削減します。

（３）ユーザー側：ユーザー側SDKは、再生を実現するだけでなく、一部のエンドでエンドサイドレンダリングを実行する戦略や、RTCとコマンド制御の組み合わせを使用して、より優れたユーザーエクスペリエンスを実現します。