P4スイッチをベースにしたUCloudのクラウドプラットフォームネットワーク実践

UCloud が 2012 年に設立されて以来、仮想ネットワークは常に IaaS 製品のコアコンポーネントであり、多くの進化を遂げてきました。進化の過程で私たちが常に考えているのは、ユーザーコストを増やすことなく、より信頼性が高く高速なネットワークをユーザーに提供する方法です。答えは、テナントの分離、転送機能、安定性など、複数のニーズを同時に満たすために、技術チームに新しいテクノロジーを継続的に採用させることです。

[[237371]]

当社の初期の SDN ソリューションでは、転送プレーンの実装に Open vSwitch (OVS) を使用し、制御プレーンの実装に自社開発のコントローラーを使用していました。この時期に、物理マシン（ベアメタル）とパブリッククラウド間の相互アクセスのニーズを解決するために、Centec の SDN スイッチが初めて使用されました。 SDN スイッチの OpenFlow フローテーブルエントリが制限される問題を解決するために、UCloud は SDN スイッチの代わりに DPDK テクノロジーに基づくゲートウェイクラスターを使い始めました。実際にテストされたさまざまな DPDK ゲートウェイが UCloud のクラウドプラットフォームにますます登場し、ユーザーに高速なネットワーク機能を提供しています。

DPDKの欠点

2017 年に 25G ネットワークが急速に導入され始めると、UCloud の仮想ネットワークにはより大きな課題が生じました。この文脈において、DPDK は徐々にいくつかの欠点を明らかにしてきました。

DPDK ベースのアプリケーションは非常に高いパケット転送速度を実現できますが、これはマルチサーバー、マルチコアの負荷分散によって実現されます。さらに、負荷分散アルゴリズムは通常、ハードウェアスイッチまたはネットワークカードによって実装され、ソフトウェアでは定義できません。ネットワークに単一のエレファントフローが発生し、ハードウェアスイッチまたはネットワークカードの負荷分散アルゴリズムによって適切に分散できない場合、単一のネットワークケーブルまたは単一の CPU コアで輻輳が発生し、ビジネスに大きな影響を与えます。
ネットワーク帯域幅が 10G から 25G、40G、50G、100G へと進化するにつれて、DPDK では回線速度に到達するためにさらに強力な CPU が必要になりますが、より強力な CPU は通常高価であり、コスト効率が良くありません。特に、シングルコアの主周波数が高くなるほど価格も高くなり、主周波数と価格の上昇は非線形の関係にあります。

2つの選択肢は除外された

2017 年半ば、UCloud は新しい SDN ハードウェアオフロードソリューションの評価を開始しました。

私たちの目に最初に浮かぶソリューションは、VXLAN VTEP ベースのソリューションです。このタイプのソリューションは通常、SDN コントローラーを含む完全なソリューションセットとしてスイッチメーカーによって提供され、プライベートクラウド環境での展開に適しています。しかし欠点も明らかです。閉鎖的で、標準化されておらず、カスタマイズできません。通常、ユーザーは、ノースバウンドのベンダー固有の API メソッドを通じてのみ、このようなソリューションと対話できます。さらに、このようなソリューションは通常、約 100,000 個の仮想ネットワーク MAC アドレスしかサポートしないため、UCloud のビジネスニーズを満たすのは困難です。さらに、UCloud では Ethernet Over GRE (Linux GRETAP) に基づく Overlay カプセル化が求められていますが、Overlay プロトコルをサポートするハードウェアスイッチはありません。

次に、OpenFlow 1.3 プロトコルをサポートするハードウェアスイッチに注目しました。予備的な調査とテストを行った結果、OpenFlow 1.3 プロトコルをサポートするハードウェアスイッチと OVS の間には大きなギャップがあることがわかりました。実際には、OpenFlow フローテーブルをハードウェアスイッチに移植することは不可能です。 Ethernet Over GRE プロトコルをサポートしていないことに加えて、OVS で使用されるフローベーストンネリング機能はハードウェアスイッチではサポートされていません。

P4が視界に入る

2017 年第 4 四半期に、Barefoot の P4 対応プログラマブルスイッチ (Tofino チップ) に関する事前調査を開始し、すぐにそれが当社のニーズに非常によく合うことがわかりました。

P4 と Barefoot について語るとき、ニック・マッケオン教授について言及しないわけにはいきません。 2007 年、ニック氏とそのパートナーは Nicira Networks を設立しました。これは「ソフトウェア定義ネットワーク (SDN)」業界の誕生をほぼ象徴するものでした。 Nicira は OpenFlow の総本山として、OpenFlow の重要なコンポーネントである NOX と Open vSwitch を次々とリリースしてきました。

2012 年に VMware が Nicira を買収した後、Nick は SDN の 2 番目のステップは SDN 向けに特別に最適化されたハードウェアデバイスを開発することであると信じました。彼と彼のパートナーは、ネットワークユーザーがチップハードウェアメーカーのさまざまなプロトコルの制約から解放されるよう、データパケットを処理するためのプログラミング言語である P4 (Programming Protocol-Independent Packet Processors) を共同で立ち上げました。

P4 には次の設計上の利点があります。

転送デバイスのデータ処理フローを柔軟に定義でき、転送を中断することなく再構成できます。
転送デバイスはプロトコル転送とは関係ありません。
デバイスの独立性。

2013 年、ニックは Barefoot Networks を設立しました。同社は、P4 ベースのネットワークチップ Tofino とソフトウェア開発キット Capilano の開発に取り組んでおり、P4 コミュニティの成長と発展を支援しています。

Barefoot は P4 プログラマブルスイッチ (Tofino チップベース) をサポートしており、次のような利点があります。

DPDKよりも高い転送パフォーマンス

1.8T～6.5Tの回線速度転送
低遅延
単一回線*** 100G、単一回線の混雑を回避
転送パフォーマンスは予測可能であり、DPDKの転送パフォーマンスはビジネスモデルによって異なる場合があります。

他のハードウェアスイッチよりもオープン

強力なプログラミング機能、転送サーフェスp4langのカスタマイズ開発
***イーサネットオーバーGREとフローベーストンネリングの問題を解決
高い開発効率
コントロールプレーンはApache ThriftおよびgRPCインターフェースを通じてリモート管理できる
オペレーティングシステムはOpen Network Linux（Debianベース）を使用しています。
エコシステム: P4 ランタイム、ストラタム

P4 スイッチアーキテクチャ

コントロールプレーンの実装

当初、私たちは、Barefoot が提供する switch.p4 を変更して機能を実装する予定でした。しかし、コードを読んでみると、switch.p4 にはスイッチに必要な機能がすべて含まれているものの、多くの機能は必要ないことが分かりました。したがって、switch.p4 を変更またはカスタマイズするのではなく、ニーズにより適したコントロールプレーンをゼロから作成することにしました。

NOS レイヤーは、DPDK プログラムの開発における当社のこれまでの経験を参考にしており、Linux を通じて完全に実装されています。 P4 コードは、すべての非 Ethernet Over GRE カプセル化パケットを制御パケットとして CPU ポートに送信します。 CPU ポートは Linux 上の仮想ネットワークカードであり、メッセージはカーネルを介して hostif の仮想ネットワークカードに転送されます。ホスト仮想ネットワークカード上の IP アドレスの構成、ARP 学習などの機能はすべて Linux カーネルを通じて実装されます。 Quagga などのユーザー空間プログラムは、ホスト仮想ネットワークカードと上位レベルのルーターの IP を介して BGP を実行し、学習したルートをカーネルのルーティングテーブルに書き込みます。私たちが直接開発した APP モジュールは、bf_switchd プラグインとしてロードされ、netlink インターフェイスを介してカーネルの ARP テーブルとルーティングテーブルを学習し、P4 コードがコンパイルされた後に生成された API を呼び出して Tofino チップに書き込みます。

コントローラー層では、最初に P4 コンパイラーによって生成された Apache Thrift インターフェースを介して bf_switchd にデータを送信し、次にそれを Tofino チップに書き込みました。しかし、簡単なパフォーマンステストを通じて、Apache Thrift インターフェイス設計の制限により、各 RPC 呼び出しで構成できるデータは 1 つだけであることがわかりました。そのため、大量のデータを構成する必要がある場合、パフォーマンスは理想的ではありません。この目的のために、APP モジュールで gRPC サーバーを起動し、バッチ構成配信のインターフェースを再定義し、構成配信速度を 8 倍に向上させました。将来的には、コントロールプレーンを P4 Runtime と Stratum に進化させる予定です。

シャーディング

P4 プログラマブルスイッチの PPS または BPS パフォーマンスは非常に強力で、回線速度で転送できます。 DPDK と比較すると、単一マシンのパフォーマンスを制限するボトルネックは、主にスイッチの DRAM と TCAM に現れます。結局のところ、DPDK は最小メモリ 64G の X86 サーバー上で実行され、512G は珍しくありませんが、スイッチチップ上のメモリリソースは比較的はるかに少なくなります。

単一スイッチのリソースボトルネックを打破するために、テナントごとにデータをシャーディングするソリューションを設計し、水平拡張の目標を達成しました。

まず、64 ポート P4 プログラマブルスイッチがアクセスレイヤーとして使用され、主にデータシャーディングとグレースケールリリースの機能を実現します。例えば、VNI の最後の 6 ビットを 64 個のフラグメントに分割し、各フラグメントにネクストホップアドレスを割り当てることで、クラスター全体のリソースを水平に拡張する機能を実現します。

強力なグレースケール機能

従来、ネットワークデバイスは通常、アクティブ/スタンバイまたはアクティブ/アクティブ方式で展開されます。アップグレードが必要な場合、デバイスの半分へのすべてのトラフィックが遮断され、残りの半分のデバイスはアップグレードのためにオフラインになります。アップグレードが完了すると、クラスターに再参加してトラフィックの半分を共有します。このアップグレード方法は単純かつ大雑把であり、UCloud ではより高い要件が課せられています。ソフトウェア業界の現状は、テストにいくら費やしても、実際のユーザーの行動を徹底的に調査することはできず、欠陥は常に存在してしまうということです。現時点での私たちにとっての最高のセーフティネットは「グレーリリース」です。テストの最初のステップとしてライブネットワーク環境を使用しながら、変更の範囲を制御することでリスクを最小限に抑えます。欠陥があった場合は、影響を最小限に抑えるためにすぐにロールバックします。 UCloud では、仮想ネットワークデバイス上でも、製品ごとにアカウントベースのグレースケールリリースをしっかりと採用しています。

スイッチソフトウェアをグレースケールでリリースし、アクセスレイヤーに機能を構築します。

スイッチソフトウェアをアップグレードする必要がある場合、グレースケールスイッチは新しいバージョンのソフトウェアをインストールするために予約されます。
Grayscale アカウントに従って新しいデータシャードを定義し、新しいデータシャードを同期するための Grayscale スイッチを指定します。
VNI + 送信元アドレスまたは VNI + 宛先アドレスに基づいてグレースケールルールを設定し、VM 粒度に基づいて処理するためにトラフィックをグレースケールスイッチに切り替えます。
切り替えが完了すると、Ping に対して自動回帰テストが直ちに実行され、さまざまなシナリオでネットワークの相互運用性が正常かどうかが確認されます。
テストに合格すると、グレースケール VM アドレスは、VPC トラフィック全体がグレースケールスイッチに切り替えられるまで徐々に増加します。
シャード内のすべての VPC が新しいスイッチに切り替わるまで、再度新しい VPC に切り替えます。
古いスイッチはクリーニングのためにオフラインにされ、クラスター全体がアップグレードされるまで新しいバージョンのソフトウェアがインストールされます。

従来のネットワーク機器とはまったく異なるこのアップグレード方法により、SDN ソフトウェアの急速な反復を背景に、SDN ネットワークの信頼性が効果的に確保されます。

P4 スイッチアプリケーション

UCloud における P4 プログラマブルスイッチの使用シナリオは次のとおりです。
テナントをサポートするためのスイッチングとルーティングの強化
物理マシンから仮想ネットワークへのアクセス
一貫性のあるハッシュECMP負荷分散
交通速度制限と課金
ARP プロキシ
等

現在、UCloud は P4 プログラマブルスイッチを使用した新世代スイッチングゲートウェイ UXR の開発とテストを完了しています。また、検証のためにリージョンを展開し、グレースケールトラフィックを切り替えました。

要約する

2018 年初頭に Barefoot の Tofino チップが量産に入ってから、P4 プログラマブルスイッチが徐々に市場に登場し始めましたが、まだ新興の段階です。現時点ではまだいくつかの欠点があることは否定できませんが、UCloud は、以前のスイッチと比較してソフトウェアエンジニアに大きな自由を与えることができると考えています。

6月27日、BarefootのCEOであるCraig Barratt氏と彼のチームがUCloud本社を訪れた際の技術交流では、緊密な協力を通じて、ニーズにさらに合致し、問題点に効果的に対処できるカスタマイズ可能なソリューションを生み出すことができると全員が同意しました。私たちは、継続的な技術の進化により、クラウドプラットフォームのユーザーに、より高速で強力なネットワーク機能を継続的に提供できると信じています。 Barefoot のホームページにもあるように、ついに「ソフトウェアがネットワークを飲み込んでいる」と言えるようになりました。

参考リンク: