5 分間の技術講演 |クラウドコンピュータビデオストリーミングフレームレートネゴシエーションメカニズム

図に示すように、クラウド コンピュータはネットワークに大きく依存します。ネットワークがなければクラウドコンピュータは利用できないため、ネットワーク環境の安定性が重要です。ネットワークは主にビデオメディアのストリーミングデータを送信します。クラウド コンピューターは、実際にクラウド オペレーティング システムのデスクトップ イメージをコピーし、それをローカル端末に送信して表示するため、ユーザーはローカル コンピューターを操作しているように感じられます。したがって、画像データの送信プロセス全体（送信するフレーム数、フレームレートの調整方法、端末のデコードパフォーマンス）が、ユーザーエクスペリエンスに影響を与える中核的なキーポイントとなります。

パート01

フレームレート交渉メカニズムがない場合 

エンドとクラウド間で伝送フレームレートのネゴシエーションメカニズムがない場合、オーディオとビデオが同期しなくなり、最終的にサービスが使用できなくなります。全体のプロセスはおおよそ次のようになります。

ユーザーは接続をクリックして、クラウド コンピュータへのリモート接続を開始します。この時点で、クラウドは接続に応答し、デスクトップイメージのキャプチャと送信を開始しました。クラウドは、デスクトップ システムの使用シナリオに応じて、オンデマンドで収集および送信します。例えば、60FPS のビデオを再生する場合、クラウドが送信するメディア ストリームのフレーム レートは 60 です。このとき、端末のデコード性能が 30FPS しか満たせない場合は、端末のフレーム データがバックログになります。データのバックログが増加すると、オーディオとビデオの非同期性がますます顕著になり、エクスペリエンスはますます悪化します。

パート02

フレームレートを調整するにはどうすればいいですか?

フレームレートネゴシエーションにおいて最も重要なポイントは、端末のパフォーマンスをどのように識別するかです。端末のハードウェア性能とエクスペリエンスのバランスを取る必要があります。クラウド リソースは比較的豊富で、リソース拡張の余地が大きいため、エンコードやメディア ストリームのデータ フレーム レートに厳しい制限はありません。そのため、端末側でのロスを減らすためには、端末側はクラウドの実際のフレームレートデータにできるだけ近づける必要があります。

まず、いくつかのチップメーカーの経験を参考にすると、端末ハードウェアチップのデコード時間は端末自体の性能を直接反映する可能性があります。

次に、フレーム レート ネゴシエーションのトリガー ポイントはクラウド側ではなくクライアント側にある必要があるため、クライアント側にはフレーム レートを下げたり上げたりするためのトリガー メカニズムが必要です。

最後に、性能が非常に低い端末機器であっても、クラウド コンピューターの基本的な使用法は満たされる必要があり、頻繁なフレーム ドロップやフレーム スキップによってユーザーに継続的な遅延体験をもたらすのではなく、オーディオとビデオの同期を優先する必要があるため、端末にはフレーム ドロップ戦略が必要です。

パート03

フレームレートネゴシエーションメカニズム

- フレームレート計算

写真

図に示すように、クラウド デスクトップ ビデオ ストリームがクラウドに正常に接続されたという信号をクライアントが受信すると、クライアント上でローカル フレーム レート計算プロセスが開始されます。端末は時間スライディング ウィンドウを使用して計算を実行します。ウィンドウのサイズは n 秒です。タイミングは最初のフレーム データの受信から始まります。すべてのフレームデータのデコード時間 T はウィンドウ時間内に取得されます。最後に、平均デコード時間 t = T / n が計算され、クライアントのパフォーマンスに関するフィードバックを提供できるデコードフレームレートデータ FPS（T） = 1 / t が取得されます。その後、データはウィンドウスライディング計算に従って継続的に更新されます。

- フレームレート削減戦略

写真

図に示すように、クライアント側は、ローカルデコードキュー内のバックログフレーム数（キュー要素の数は、ローカルに維持されているデコードキューを通じて取得できます）、クライアント側スライディングウィンドウによって計算されたデコードフレームレートデータ（フレームレートは第 1 段階で計算されます）、およびクラウドリアルタイムストリーミングのフレームレートデータ（クラウドシグナリング制御プロトコル）の 3 つのパラメータを維持します。フレーム削減戦略は、デコード キューのバックログが F1 より大きく、クライアント側のデコード フレーム レートが F2 より大きく、クライアント側のデコード フレーム レートがクラウド フレーム レートより小さい場合にのみ開始されます。シグナリング制御プロトコルは、クラウド側にフレームレートを下げるように要求するために使用されます。フレームレートデータは、クライアント側でリアルタイムに計算されたフレームレートです。クラウド側はデータを受信した後、新しいフレームレート要件に従ってエンコードして送信し、全体的なフレーム削減効果を実現します。

- フレームレート戦略

写真

図に示すように、フレーム増加戦略はフレーム減少戦略と並行した戦略です。なぜフレーム増加戦略が必要なのでしょうか?端末ハードウェア自体のパフォーマンスは動的に変化するプロセスであるため、端末アプリケーションの実行に応じてハードウェア CPU のリソース消費も変化します。そのため、リソース消費量が少ない場合に、従来の削減戦略に従って実行し続けると、端末パフォーマンスが過度に浪費され、ユーザーエクスペリエンスが向上しません。したがって、リソース使用率の低下に対処し、ユーザー エクスペリエンスを向上させるには、フレーム レートの動的な計算をフレーム増加戦略と調整する必要があります。

- フレームドロップ戦略

前述のように、ハードウェア性能が低い端末デバイスの場合、フリーズやフレームスキップの問題よりも、オーディオとビデオの非同期の問題の方が深刻です。したがって、デコード キュー内のフレーム データが長時間蓄積され、解放できないシナリオでは、フレーム ドロップ戦略を有効にする必要があります。そうしないと、端末リソースが改善されたときに、大量のバックログビデオフレームデータのデコードが短時間でトリガーされ、オーディオとビデオのデータが非同期になります。画面に表示された後の最終的なプレゼンテーション効果は、音と画像が同期されていないことであり、ユーザーエクスペリエンスに影響を与えます。

フレーム ドロップ戦略は、デコード キューのバックログ長 L と、キュー内の先頭と末尾のビデオ フレーム間の時間差 T という 2 つのパラメータに重点​​を置いています。 L>30 かつ T>5 秒の場合、フレーム ドロップ戦略がアクティブになり、現在のバックログ キュー内のフレーム データがクリアされます。画面上の次のフレームは、クラウドから新しくプッシュされた画像データです。フレームスキップが発生する場合がありますが、オーディオとビデオの同期効果は基本的に保証されます。

パート04

要約する

クラウド コンピュータのシナリオでは、フレーム レート調整メカニズムがユーザーの画面エクスペリエンスに影響を与える重要な要素となります。もちろん、フレーム レートの調整以外にも、ビット レート制御、カラー エンコーディング、解像度制御など、クラウド デスクトップの全体的な伝送エクスペリエンスに大きな影響を与える要素は数多くあります。したがって、クラウド コンピュータ エクスペリエンスの最適化は、長期にわたる継続的な反復プロセスです。さまざまな影響要因の条件下での継続的な調整と制御、経験値の発見、継続的な改善が必要です。