ビューコンピューティングの背後にある技術アーキテクチャについて考える

データキャリアとコンピューティングパワーの配分は根本的な変化を遂げている

動画や写真は強力な情報伝達能力を備えているため、データ コンテンツの主な伝達手段および情報伝達の主な手段となっています。 5G の広い帯域幅、低遅延、幅広い接続特性により、クラウド ビデオ監視、クラウド ゲーム、モノのインターネットなどのアプリケーション シナリオが実現しました。消費者向けインターネットから産業用インターネットへの拡張により、端末アプリケーションと視覚データの爆発的な増加がさらに促進されました。

これらの端末とデータは分散しており、大量であり、値密度が比較的低いです。カメラを例に挙げると、IHS の調査によると、現在 10 億台の監視カメラが世界を監視しており、ビデオと画像データが継続的に生成されていることがわかります。データ量は ZB レベルですが、ほとんどのデータの価値は低いです。注目を集めるイベントの断片とその構造化された情報を保持する必要があります。このようなシナリオと要求は、コンピューティングとストレージの方法に深刻な課題と根本的な変化をもたらしました。

データ アクセス、コンピューティング、キャッシュのための新しいエッジベースの分散システム アーキテクチャは、この問題を効果的に解決します。これにより、トラフィックとコンピューティングがローカルで収束し、ネットワーク伝送コストが大幅に削減され、コンピューティング効率が向上し、5G 低遅延処理のシナリオベースの要件が満たされます。

エッジベースのビジネスシステム構築における技術的課題

大規模、分散型、異機種混合のエッジ ノード リソースの特性は、ビジネスに大きな課題をもたらします。サービス適応、弾力性、高可用性の観点から、対応する処理を実行する必要があります。業務システムはそれを認識し、不適切な取り扱いは損害を引き起こす可能性もあります。

エッジ ベースのビジネス システムを構築する際の技術的な課題は、主に次の側面から生じます。

1. エッジのノードは分散しており、複数のレベルがあります。ノードは多数ありますが、サイズが小さいため、複雑な管理が必要です。インタラクティブにアクセスする場合は、特定の場所に注意する必要があり、コンピューティングやストレージの場所など、入り口は複数あります。

2. リソースの異質性により、ビジネスではリソースを選択する必要があり、CPU、GPU、ARM アレイなどの異なるコンピューティング リソースなど、各ノードのリソース タイプの分布も不均一になる可能性があります。

3. 単一ノードの弾力性は弱いが、グローバルな弾力性は強い。スケーリングでは、展開場所とビジネス適応を考慮する必要があります。

4. 単一ノードのカットオーバーと、エッジ間およびクラウドとエッジ間の複雑なネットワーク環境により、サービス ジッタが発生したり、単一ポイントが利用できなくなる可能性があります。ビジネス システムでは、サービス ドリフトなどの問題を考慮する必要があります。タスクがステートフルである場合、考慮はより複雑になります。

大規模な分散ノードと中央クラウドを使用する場合、これらの課題に対処し、シンプルさと一貫性を実現するにはどうすればよいでしょうか?インタラクション面は1つだけにするのがベスト

View Computing - 場所に依存しないコンピューティング、キャッシュ、接続プラットフォーム

ビューコンピューティングはこの問題を非常にうまく解決します。広範囲にカバーされている ENS インフラストラクチャに基づいて、場所に依存しないコンピューティングおよびキャッシュ プラットフォームを提供します。同時に、ビューデータをより適切にクラウドにアップロードするために、ビュー（端末）とクラウドの接続プラットフォームを提供します。

上図に示すように、インフラストラクチャ層では、リソース管理、仮想化、リソーススライスを通じて統合されたプールリソースが形成され、セキュリティと分離機能が提供されます。ビュー コンピューティング PaaS プラットフォームは、統合されたネットワーク、コンピューティング、およびストレージ スケジューリングを通じて、リソースの異種性とリソースの物理的な場所を保護します。ビジネス特性、端末の場所、リソースの状態に基づいてエッジ リソースと端末をマッチングおよび調整し、ビジネスに対して低遅延で高可用性の応答を保証すると同時に、コンピューティング、ストレージ、接続に関してビジネスの場所を問わないようにします。

たとえば、セキュリティ、教育とトレーニング、輸送と物流などのクラウド カメラのシナリオでは、デバイス アクセス、ストリーミング メディア アクセスと処理では、利用可能なコンピューティング能力、ネットワーク帯域幅、ストレージ容量などのノードの状態を総合的に考慮し、最も近いノードを選択します。ノードはコンテンツ制作側 (カメラ) の近くに配置されます。クラウド ゲームなどのシナリオでは、特定のレンダリング コンピューティング リソース (ARM ボードなど) が必要であり、コンテンツ消費側 (モバイル フォン) に近づける必要があります。複数の人がライブ放送を視聴する必要がある場合は、ストリームを CDN ネットワークにプッシュして配信し、リモートで視聴することができます。

コンピューティング クラウド エッジ エンド コラボレーション アーキテクチャの表示

ビュー コンピューティング プラットフォーム構築の中核となるのは、クラウド、エッジ、エンドの連携アーキテクチャです。

1. 端末デバイスは、ビューなどのデータの収集と集約、およびビューのデコードと表示を担当します（つまり、シン端末）。また、クラウドから送信された構成やルールに基づいてコマンドを入力して操作したり、簡単な計算を実行したりすることもできます。

2. ビューコンピューティングは、分散エッジノードに基づいて低遅延デバイスアクセスゲートウェイを構築し、さまざまな端末クラウド接続プロトコル（GB28181 / RTMPなど）を実装し、リアルタイムストリームの受信やビデオおよび画像ファイルの高速アップロードが可能です。計算処理と定期的な保存はノード内または近傍のノード内で行われ、計算結果（構造化されたAI分析データなど）や永続的な長期保存が必要なデータは、エッジとクラウド間の安全な高速化チャネルを通じてクラウドに迅速に返されます。

3. ビューは、中央クラウドでノードとデバイスの管理、統合スケジューリング、メタ集約などを実行します。端末デバイスは、物理世界の投影に似たクラウド上の仮想デバイス（つまり、シャドウデバイス）にマッピングされます。シャドウ デバイスの管理、構成、および操作は、シグナリング チャネルを通じて迅速に発行、実行、およびフィードバックされます。物理デバイスの電源がオフになったり、異常にオフラインになったりした場合でも、コンテキストは適切に保存され、オンラインになった後に時間内に同期されます。

ビュー コンピューティングを通じて見えるのは、N 個の散在した入り口を持つ分散した小さなクラウドではなく、クラウドとインタラクション サーフェスです。クラウド、エッジ、エンドの連携アーキテクチャにより、コスト、レイテンシ、信頼性の最適なバランスを実現できます。たとえば、コストに関しては、ネットワーク帯域幅、コンピューティング、ストレージのコストを総合的に考慮する必要があります。

場所に依存しないマルチポイント協調コンピューティング

ビュー コンピューティング サービスは、ビュー データに対して、位置に依存しない 3 種類のコンピューティングを提供します。

1. 基本的な計算を表示します。トランスコード、録画、スクリーンショットなどを含みます。エンコードの最適化により、高い圧縮率が達成され、同じ画質で20〜40％のストレージスペースと伝送帯域幅を節約できます。

2. ビジュアル AI コンピューティング: DAMO アカデミーのコンピューター ビジョンにおけるアルゴリズムの蓄積を活用したビジュアル コンピューティングは、さまざまなシナリオでの視覚的構造化分析、ターゲット検出、追跡などの AI 機能を提供します。

3. カスタム コンピューティング: オペレーターのセルフサービス アップロードとホスティングにより、アルゴリズム アクセスのコストが削減され、ユーザーとアルゴリズム ベンダーがアルゴリズムをビュー コンピューティング サービスに統合しやすくなります。カスタマイズ可能な演算子とパラメータに加えて、コンピューティング モードも独自のビジネス ニーズに合わせてカスタマイズできます。

これらの計算の最も重要な特徴は、「コンピューティングがネットワークに従う」ことです。つまり、計算はデータがネットワーク上を流れるときに実行され、すべてのデータを処理のために中央クラウドに送り返す必要がなくなり、計算能力の沈下と端末コンピューティングの浮上が実現されます。

このネットワークは、端末エッジ、エッジエッジ、エッジセンターの統合コラボレーションを実現し、上位層アプリケーションの複雑なネットワーク環境を保護する Alibaba Cloud のエッジコラボレーションネットワークです。このネットワークは、高品質のエンドツーエンドのアクセスとデータ転送機能を提供すると同時に、コンピューティング機能とキャッシュ機能も備えています。

クラウドベースのカメラなどの一般的なローカル コンピューティング シナリオに加えて、インターネット ライブ ブロードキャストなどのシナリオでも、ビュー コンピューティングに基づくエッジ トランスコーディングとリアルタイム AI 分析を実行して、全体的なユーザー エクスペリエンスを向上させることができます。たとえば、ライブ ストリーミングは、上流のセンターに送信してからエッジに配信する必要はなく、最も近いノードで直接トランスコードおよび圧縮できます。コールド ストリーム (視聴者がいない、またはごく少数) の 80% については、直接ローカル エリアに収束できます。一方、ホット ストリームについては、トランスコードして近くで配信できるため、遅延や妨害も軽減され、クライアントの再生がスムーズになります。プロセス全体を通じて、端末は統一されたドメイン名を介してアクセスするだけで済みます。計算の具体的な場所を認識する必要はありません。場所に依存しないマルチポイント共同コンピューティングでは、CDN アクセラレーションを使用する場合と同様にデータ計算を完了できます。

カスタマイズ可能なシーン計算

多くのシナリオでは、独自に開発した演算子やアプリケーション、あるいはサードパーティのアルゴリズム サプライヤーの演算子が既に存在している可能性があります。ビュー コンピューティングは、ビュー コンピューティング上でオペレーターやアプリケーションをホストできる、オープンでカスタマイズ可能なシナリオ コンピューティング フレームワークを提供し、ユーザーが独自のコンピューティングを行うのを真に支援します。

コンピューティング プラットフォーム全体は、下から上に向かって、コンピューティング環境、コンピューティング スケジューリング、コンピューティング サービスに対応する 3 つの層に分かれています。

1. コンピューティング環境、つまりコンピューティング リソースの生成および管理レイヤーは、コンテナーや VM などのリソースの生成、ファイルの保存、実行中のシステム ソフトウェアおよびオペレーター アプリケーションのリリース、インストール、展開、構成、およびログの監視を担当します。このレイヤーは、基本的なアプリケーション分離機能も提供します。

2. コンピューティング スケジューリング。リソースの弾力的なスケーリング管理と多次元のグローバル負荷分散を実現します。このレイヤーは、コンテナなどの基盤となるリソースの安全な分離に関するグローバルな計画と調整を実行し、リソースの競合の問題を解決します。同時に、異なる粒度のコンピューティング タスクを混在させて、リソースの再利用性を向上させることができます。

3. コンピューティング サービス: オペレーターのホスティング、評価、実際のオフロード コンピューティングを実装し、コンピューティング タスクのプロファイリング分析を実行して、コンピューティング リソースの消費評価の精度を反復して向上させます。たとえば、ライブトランスコーディングでは、エンコード形式、解像度、フレームレートなどの出力パラメータに加えて、入力コンテンツソースも実際のリソース消費に一定の影響を与えます。各トランスコーディング チャネルの計算電力消費は動的に変動するため、リソース割り当てのスケジュールの精度が向上します。最終的にスケジュール割り当てレベルと実際のリソース レベル間の一貫性を実現するには、動的な分析と調整が必要です。

アクセスプロセス全体は非常に簡単です。

1. オペレーターをアップロードおよび管理し、コンピューティング テンプレートとパラメーターを構成します。クラウドは互換性の適応とリソース消費の評価を実行します。

2. さまざまなコンピューティング仕様の最大同時実行性など、コンピューティング能力やその他のリソースをオンラインで申請します。クラウドは容量を評価・確認し、各コンピューティングノードにオペレーターを送信して展開します。

3. ユーザーがコンテンツにアクセスしたりトリガーしたりすると、クラウドはデータを転送して計算し、計算結果をユーザーにリアルタイムでフィードバックします。

クラウド ゲームを例にとると、ゲーム パッケージをロードしてビデオ ストリームをレンダリングできるストリーミング イメージがオペレーターまたはアプリケーションになります。ゲームメーカーがゲーム パッケージをアップロードし、レンダリング仕様を構成すると、クラウドは対応する適応、リソース評価、および動的割り当てを実行します。

場所に依存しない分散ストレージ

コンピューティング プラットフォームが完成したら、次に解決する必要がある問題は、データのクラウド ストレージです。データ ソースの分散、およびさまざまな値の密度と使用シナリオにより、たとえば、スポーツ イベントなどの価値の高いライブ コンテンツには、永続的なストレージ用の録画と再生が必要ですが、ビデオ監視シナリオのカメラ ストリームは比較的価値が低いため、主要なイベントのビデオ クリップのみを保持すればよく、ほとんどのデータは数日または数か月間キャッシュするだけで済みます。

分散データストレージと階層型ストレージのアクセス遅延、可用性、コストの問題をどのように解決するか?

View Computing は、エッジ分散ファイル キャッシュと中央の永続 OSS ストレージに基づく、場所に依存しない分散ストレージ ソリューションを提供します。世界中のデータ ソースは、ビュー コンピューティングを通じてエッジ ノードにアクセスできます。キャッシュの場所は、全体的な親和性を確保するために、データ アクセスと計算の場所を参照します。定期的なデータはエッジにキャッシュされ、長期間保存される価値の高いデータや構造化された分析データは中央ストレージに返されます。

同時に、ビュー コンピューティングは、エッジ アクセラレーション ネットワークを介して地域やオペレータ間で大容量ファイルをアップロードする際の長い遅延、低速、容易な中断の問題を解決し、クラウドへの高速転送を実現します。

ユーザーが参照および使用するものは、特定の保存場所を気にする必要なく、依然としてクラウドです。

分散キャッシュプラットフォーム

場所に依存しないストレージ アクセスは、ローカル アクセス、大容量、コスト効率の高い定期的なファイル キャッシュを提供する分散キャッシュ プラットフォームを通じて実現されます。キャッシュ サイクル中、マルチポイントの共同ストレージ スケジューリングとマルチノードのマルチコピー冗長性により、サービスの高可用性とデータの高信頼性を実現します。 View Compute は、柔軟なキャッシュ アクセスとスケジュール戦略 (国内、地域、オペレーター、カスタム ノード範囲) を提供します。集中OSS利用(SDK/API)にも対応しています。 OSS SDK をダウンロードした後は、エンドポイント アクセス ドメイン名を変更するだけで、開発コストをほぼゼロにして分散キャッシュに切り替えることができます。これまでとの違いは、リージョンの概念がなくなり、統一された集中ドメイン名のアクセスと管理方法が直接採用され、真に 1 つのクラウドと 1 つのストレージ用クラウドが実現されていることです。

この位置に依存しない性質をどのように実現するのでしょうか?重要なポイントは次のとおりです。

1. 物理ファイルはエッジノードにキャッシュされ、管理データやファイルメタ情報などはセンターに集められ、集中管理・検索されます。

2. ファイルの書き込みと読み取りは 302 スケジューリング方式を採用し、統一ドメイン名に書き込み、ストレージ スケジューリング後に実際の物理的な場所にジャンプして読み取りと書き込みを行います。

3. リアルタイムのノードステータスと容量監視。 1 つのポイントが書き込み可能でない場合は、他のノードに自動的に移行され、不安定さを感じることなくサービスのドリフトと切り替えが完了します。単一ポイントが復元されると、データはすぐに複製され、同期されます。

4. マルチノード、マルチコピーの冗長ストレージを提供し、単一ポイントが利用できない場合に高速なトラフィック転送を実現し、トラフィックが大きい場合に負荷分散も実行します。

接続プラットフォームとフルサイクルPaaSサービスを表示

ビュー データをクラウドに効率よく移行できるように、View Computing は、収集、コンピューティング、処理、コンテンツ消費など、ビューのライフ サイクル全体をカバーするターミナル クラウド接続プラットフォームと PaaS サービスを提供します。接続機能は主に次のとおりです。

1. デバイスへのアクセスと制御

2. ビューコンテンツへのアクセスと管理

3. ビュー処理とビュー ストレージは、それぞれ前述の位置に依存しないコンピューティング プラットフォームとキャッシュ プラットフォームに基づいており、ビューのトランスコーディング、AI 分析、暗号化、ストリーミング レンダリングなどの基本機能と複雑な処理機能を提供します。ビュー ストレージは、ビューのアクセスと取得機能、ライフサイクル クリーンアップ戦略、クラウド ストレージとアーカイブ戦略を提供します。

ワンクリックでクラウドに安全かつ簡単にアクセスできるビュー（端末）

現在、ビュー端末向けの主流のクラウドベースのソリューションは次の 3 つです。

1. セキュリティ分野の国家標準 GB/T-28181 には、クラウド コンピューティングに関しては、アクセスが複雑、セキュリティが低い、機能が不足しているなどの問題があります。たとえば、シグナリングはプレーンテキストで送信され、データ ストリームは基本的に認証されません。 SSRC に基づいて単純に識別することしかできず、衝突や偽造を効果的に回避することはできません。国家標準には、2011 年と 2016 年を含む複数のバージョンに対する適応と移行の問題があり、全体的なクラウド コンピューティングのエクスペリエンスは劣悪です。

2. ONVIFは2008年に提案されて以来、世界中の多くの機器メーカーから支持を得ています。ただし、そのマルチキャスト検出メカニズムはパブリック クラウドに実装できず、クラウドに適していません。同時に、その相互作用は HTTP 標準に基づいており、SOAP プロトコル形式を使用してシグナリング コンテンツを定義するため、大きな通信遅延が発生します。

3. 多数の機器メーカーがクラウド コンピューティング用のプライベート プロトコル標準を立ち上げています。これらには多くの種類があり、それぞれが閉じられており、ブラックボックス化されています。クラウドアクセスは再利用できず、構築の重複が多くなります。

View Computing が開始したワンクリック クラウド移行ソリューションは、オープンで使いやすく、安全で柔軟なターミナル ワンクリック クラウド移行機能を提供します。主な機能は次のとおりです。

国家標準規格/ONVIF等に対応しており、様々な端末に適応可能です。また、国家標準アクセスの複雑さとセキュリティの問題、および ONVIF のパブリック クラウド アクセスの問題も解決します。 Alibaba Cloud の広範囲にカバーされたエッジノードに基づいて構築されたデバイス アクセス ゲートウェイは、近くのアクセスを保証し、CDN の低遅延伝送と高速ネットワーク、およびマルチプロトコル アクセス機能を再利用して、低遅延のデバイス通信、シグナリング制御、およびデータ フロー アクセスを保証します。コアシグナリングチャネルにより透過的な双方向通信が可能になり、メーカーや開発者は制御シグナリングをカスタマイズすることもできます。

Alibaba Cloud オープンデバイスクラウドプロトコル (ODCAP)

View Computing Connection Platform のワンクリック クラウド ソリューションの中核は、ODCAP (Open Device Cloud Access Protocol) オープン デバイス クラウド プロトコル上に構築されています。あらゆるメーカーの多様なデバイスの独立したアクセスをサポートするために、プロトコルのコンテンツを完全に公開します。

クラウド上の端末はネットワークを介して相互接続されます。 ODCAP プロトコルは、さまざまなネットワーク相互接続構造をサポートします。

1. デバイスは内部ネットワークにあり、ファイアウォール NAT を介してパブリック ネットワークにアクセスするか、デバイス ゲートウェイを介して転送できます。 2. デバイスは、直接接続できる 4G/5G ネットワーク機能を備えたデバイスなど、パブリック ネットワーク環境に直接接続されています。 3. ODCAP はカスケード モードもサポートします。サブデバイスは、他のプロトコルを介して上位デバイスに接続できます。直接接続されたデバイスは、下位レベルのサブデバイスのさまざまなアクセスを遮断し、ODCAP プロトコルを使用してクラウド プラットフォームに均一にアクセスします。

ODCAP プロトコルはさまざまな種類のデバイスをサポートしており、多様な端末がクラウドにアクセスできるようになります。デバイスによって機能は異なります。説明を統一するために、デバイス モデルを使用してデバイスを定義します。デバイス モデルには次の 4 つのレベルが含まれます。

リソース、リアルタイムビデオストリーム、ビデオおよび画像ファイル、端末AI分析後の構造化データ、デバイスのさまざまな構成情報イベント、デバイスによってトリガーされるさまざまなイベントサービス、デバイスが提供する機能サービスなど、デバイスによって生成されるさまざまなデータ