分散型データセンターネットワーク相互接続ソリューションの技術的実装

データセンター間のコンピューティング リソースの動的な割り当ては、仮想マシンの動的移行テクノロジ (VMware の vMotion など) を通じて実現でき、データセンター間のアプリケーション レベルの災害復旧は、サーバーの高可用性クラスタ テクノロジを通じて実現できます。これら 2 つのアプリケーション シナリオは、総称して「分散データ センター展開モード」と呼ばれます。その特徴は、アプリケーション システムは IP アドレスを変更せずに異なるデータ センターで外部にサービスを提供できるが、このアプリケーションは同時に 1 つのデータ センターにのみ表示され、データ センターにアクセスするユーザーはこの変更に気付かないことです。この特徴を踏まえて、この記事では、分散型データセンター向けの 3 つの相互接続ソリューション、すなわち、データセンター間のストレージ ネットワーク相互接続ソリューション、データセンター サーバーのアクセス層向けのレイヤー 2 ネットワーク相互接続ソリューション、およびデータセンター間のレイヤー 3 ネットワーク相互接続ソリューションの技術的な実装要件について説明します。

1. センター間での仮想マシンの動的移行

分散型データセンターの最も一般的なアプリケーション シナリオは、「動的仮想マシン移行テクノロジ」に基づくセンター間のコンピューティング リソース割り当てです。たとえば、VMware ESXi 製品の vMotion テクノロジーを使用すると、仮想マシンの実行状態を中断することなく、仮想マシンを 1 台の物理サーバーから別の物理サーバーに移行できます。 vMotion のコア技術は、異なる物理マシン間で仮想マシンのメモリと CPU の動作状態をコピーすることです。移行前と移行後の 2 台の物理マシンは、「共有ストレージ」または「アクティブ-アクティブ ストレージ」を介して同じ仮想マシン イメージ ファイルを共有する必要があります。 NAS テクノロジーを使用して実装された共有ストレージの場合、2 台の物理マシンが同じディスク アレイ上のターゲット ファイルにアクセスできる必要があります。 SAN 拡張テクノロジを使用して実装された共有ストレージの場合、2 台の物理マシンが同じ LUN ID を持つストレージ デバイスにアクセスする必要があります。共有ストレージを備えたデータ センター ストレージ ネットワーク相互接続ソリューションは、図 1 の左側のトポロジに示されています。ストレージ デバイスはセンター A にのみ展開され、NAS または SAN はセンター A と B に展開されます。仮想マシンがセンター A からセンター B に移行されても、センター B の物理サーバーは引き続きセンター A のストレージ デバイスにアクセスできます。

1. 課題1: ストレージがレイテンシに敏感になる問題を解決する

センター間で仮想マシンを移行する際の最初の技術的な課題は、ストレージがレイテンシの影響を受けやすいことです。センター B ではストレージへのアクセス遅延が大きくなります。 2 つのセンター間の距離が長くなるにつれて、センター B に移行された仮想マシンの I/O パフォーマンスは低下します。アクティブ/アクティブ ストレージ テクノロジー (EMC VELEX Metro など) は、共有ストレージ ソリューションのアクセス遅延の問題をより適切に解決できます。図 1 の右側のトポロジに示すように、物理ストレージ デバイスはセンター A とセンター B に同時に展開され、SAN を介して相互接続されています。センター A と B にあるストレージ コントローラは、センター A と B 間の論理ストレージ デバイスを仮想化します。2 つのセンターの物理サーバーは、同じ LUN ID を使用して論理ストレージ デバイスにアクセスします。ストレージ コントローラは、読み取り I/O 要求へのローカル アクセスと書き込み I/O の双方向同期を実装します。したがって、センター A の仮想マシンがセンター B に移行されると、センター B のサーバーはローカル ストレージ コントローラーを介してローカル ストレージ デバイスにアクセスします。したがって、このソリューションの I/O 遅延は、共有ストレージ方式の I/O 遅延よりも小さくなります。 FC SAN 相互接続は通常、伝送技術 (DWDM、SDH など) を利用して実現されます。 IP テクノロジーに基づく FCIP 相互接続ソリューションもありますが、FCIP が実際に導入されることはほとんどありません。 iSCSI SAN 相互接続と NAS ネットワーク相互接続はどちらも TCP/IP テクノロジーに基づいています。

図1. 分散データセンターのストレージ相互接続ネットワーク

2. 課題2: 移行前の状態を維持する

クロスセンター VM 移行の 2 番目の課題は、VM が vMotion を完了した後、IP アドレスが変更されないだけでなく、移行前の実行状態 (TCP セッション状態など) も維持されることです。したがって、VM 移行に関係する物理サーバーは同じレイヤー 2 ネットワークに接続し、VM 移行後も同じネットワーク セグメント内の他の VM (またはサーバー) にアクセスできるようにする必要があります。したがって、このアプリケーション シナリオでは、センター間レイヤー 2 インターネット ネットワークの構築が必要になります。レイヤー2相互接続技術には、主に3つの種類があります（詳しい技術紹介については、「IP Navigator」第25号「レイヤー2技術大特集」をご覧ください。本稿では繰り返しません）。

l MAC over IP（H3C EVI テクノロジーなど）。 IP ネットワーク上にトンネルを動的に構築することにより、イーサネット VLAN をデータセンター全体に展開できます。このテクノロジーは、物理層テクノロジーとデータリンク層テクノロジーに依存しません。ネットワーク層 IP が到達可能であれば、VLAN をそれに応じて拡張できます。さらに、EVI テクノロジーは、分散センター アプリケーション シナリオ向けに最適化された設計をいくつか実現しました。例えば、EVI は「ゲートウェイ分離展開機能」、「制御プロトコルに基づく MAC アドレス学習」、「ARP プロキシ機能」などを実装しているため、データセンターのレイヤー 2 相互接続を実現するには、このテクノロジを使用することが推奨されます。

- VPLS。オペレータが通常、顧客にマルチサイトのレイヤー 2 接続を提供するために使用する従来のレイヤー 2 VPN テクノロジー。 VPLS は主に MPLS 技術に基づいて実装され、サイト間のブロードキャストを通じて MAC アドレスを学習します。構成と管理は比較的複雑であるため、通常、データセンター間のレイヤー 2 拡張を実装するためにこのテクノロジを使用することは推奨されません。

-DWDM/ダークファイバー。物理メディア層でデータセンター間の相互接続を実現することで、センター間のレイヤー 2 拡張を柔軟に展開できます。たとえば、ユーザーは 2 つのセンターのスイッチを直接相互接続して VAN 拡張を実装することも、最初にデータセンター間にレイヤー 3 相互接続チャネルを確立してから、MAC Over IP (H3C EVI テクノロジーなど) に基づいて VLAN 拡張を実装することもできます。後者の利点は、MAC Over IP によって提供される技術的機能を使用して、分散データセンター間の MAC アドレス学習、レイヤー 3 パスの最適化などの問題を簡素化できることです。

3. 課題3: 3段階最適経路の解決

センター間仮想マシン移行の 3 番目の技術的課題は、仮想マシンが動的移行を完了した後の 3 層アクセス パスの問題です。図 2 の左側のトポロジに示すように、仮想マシンはセンター A に配置されており、IP アドレスは 10.1.1.100 です。従来の展開の考え方によれば、クライアントが A センターにある仮想マシンにアクセスできるようにするには、ネットワーク レイヤー 3 転送の Ingress 方向と Egress 方向で次の展開を実行する必要があります。

- 入力方向（クライアントから VM）：センター B のコア ルータは、VM が配置されているサブネットのルート（10.1.10/24 など）をクライアントにアドバタイズし、データセンター A のコア ルータは、VM のサブネット アドレスを、より長いマスクを持つ 2 つのルート（10.1.1.0/25 と 10.1.1.128/25）に分割してクライアントにアドバタイズします。したがって、クライアントから VM へのアクセス パスは、センター A の方向に沿ったものになることが望ましいです。

- 出力方向（VM からクライアント）：センター A と B の集約デバイスはレイヤー 2 相互通信を実現し、4 つの集約デバイスが同じ VRRP グループに追加されます。 VRRP のデバイス優先度を調整することで、VRRP VIP はセンター A の集約デバイスに優先的に配置されます。仮想マシンのゲートウェイは VRRP の VIP を指しているため、仮想マシンの出力トラフィックはセンター A からクライアントへのパスを優先します。

図2. 分散データセンターにおけるレイヤー3相互接続パス最適化の課題

従来の展開の考え方には問題があります。図2の右側のトポロジに示すように、仮想マシンをセンターAからセンターBに移動すると、センターAとセンターBがバックボーンネットワークにアナウンスする仮想マシンアドレスを含む経路は変化せず（入力トラフィックの方向は変化しない）、VRRPのマスターとスレーブの関係も変化しません（出力トラフィックの方向は変化しない）。したがって、センター B にある仮想マシンによって送信されたトラフィックは、センター A のコア ルータに沿ってクライアントに送信される前に、センター間レイヤー 2 リンクを介してセンター A のゲートウェイに到達する必要があります。センター B 側の集約デバイスと WAN 出力デバイスは使用されず、「最適でないパス」現象が発生します。センター A とセンター B が互いに近い場合 (たとえば、同じキャンパス内の 2 つの建物)、この展開によって管理が複雑になることはなく、顧客に簡単に受け入れられます。ただし、センター A とセンター B が遠く離れている場合 (数十キロメートル)、顧客は通常、仮想マシンの場所に基づいてイングレス トラフィック パスとエグレス トラフィック パスを動的に調整し、クライアントと仮想マシン間で最適なパスが選択されるようにして、長距離のトラブルシューティングとネットワーク管理の複雑さを回避したいと考えています。

レイヤー 3 ネットワークにおける最適でないパスを解決するための主要なテクノロジは次のとおりです。

l イングレス方向（クライアントからVM）テクノロジー

- ダイナミック DNS 解決テクノロジー。同じ仮想マシンが、NAT (SLB デバイスによって実装) を介して、異なるデータ センターで異なるサービス IP アドレスを提示します。 GSLB は DNS サーバーとして機能し、仮想マシンの物理的な場所に基づいて、クライアントに対してさまざまなサービス IP アドレスを解決します。ここで重要な技術は、仮想マシンの物理的な場所を GSLB に通知し、DNS レコードを変更する方法です。

- RHI（ルートヘルスインジェクション）テクノロジー。この機能は通常、SLB デバイスによって実装されます。 SLB は、サーバー/仮想マシンの生存状態を定期的に検出します。チェック結果が正常の場合、SLB は仮想マシン アドレスのホスト ルートをバックボーン ネットワークに公開します。チェック結果が異常の場合、ホストルートは取り消されます。このようにして、クライアントからセンター A または B への Ingress トラフィック パスを動的に調整できます。

l 出力方向（仮想マシンからクライアントへ）テクノロジー

- ゲートウェイ分離技術。出力方向の最適でないパスを回避するには、分散データセンターの両側の集約スイッチに同じ VRRP 構成を展開し (センター A と B の集約デバイスは同じ VRRP VIP 構成を持つ)、VRRP が配置されている VLAN のセンター間のレイヤー 2 相互運用性を確保する必要があります。集約デバイスが H3C EVI テクノロジーに基づく VLAN 拡張を採用している場合、デフォルトで VRRP のローカル展開がサポートされます。 EVI と同様の技術的機能が導入されていない場合、ユーザーは対応するコマンドラインを設定することで VRRP のローカル展開を実装することもできます。

まとめると、センター間の仮想マシン移行を実現するために、分散データセンター間の 3 種類のネットワーク相互接続に対する主要な技術要件は次のとおりです (図 3 を参照)。

図3. 分散型データセンターにおける3種類の相互接続ネットワーク

- ストレージネットワークの相互接続。センター間のストレージ ネットワークの相互運用性は、仮想マシンの動的な移行の前提条件であり、「共有ストレージ」または「アクティブ/アクティブ ストレージ」を通じて実現できます。

- レイヤー 2 ネットワーク相互接続。仮想マシンの IP アドレスは動的移行後も変更されないため、仮想マシン ネットワーク アクセス レイヤーでセンター間レイヤー 2 ネットワークを構築する必要があります。これは、EVI、VPLS、DWDM/ダークファイバーなどのテクノロジーを使用して実現できます。

- 3層ネットワーク相互接続。企業キャンパスまたは支店のクライアントは、3 層ネットワークを通じてさまざまなデータ センターにアクセスします。仮想マシンのセンター間移行をサポートできる分散データ センターの場合、従来の 3 層ネットワーク展開ソリューションでは、センター間で VRRP を均一に展開することにより、単一側ゲートウェイ出口を実装します。ただし、このソリューションには 3 層の最適パス問題があります。新たなソリューションは、「ゲートウェイ分離技術」を「RH 技術またはダイナミック DNS 技術」と組み合わせて使用​​し、3 層転送パスを最適化することです。

2. サーバー高可用性クラスタのクロスセンター展開

分散データ センターのもう 1 つのアプリケーション シナリオは、センター全体にわたる高可用性サーバー クラスターの展開です。サーバー高可用性クラスター (HA クラスター) は、クラスター ソフトウェアを使用してネットワーク上の複数のサーバーをリンクし、一貫したサービスを提供します。外部からは論理サーバーとして表示されます。クラスターでは、1 台の物理サーバーのみがサービス IP を引き継ぎ、同時に外部アクセスを提供します。サーバーに障害が発生した場合、バックアップ物理サーバーがサービス IP を引き継ぎ、外部アクセスを継続的に提供します。高可用性クラスタでサーバ切り替えが発生すると、切り替え前のコンピューティング状態 (ネットワーク プロトコル スタック、メモリ、CPU など) は保持されません。図4に示すように。

図4. サーバークラスターの高可用性クラスター

さまざまなメーカー (HP、IBM、Microsoft、Veritas など) のクラスタ ソフトウェアでは、各サーバーで、同期レプリケーションをサポートする共有ストレージ、アクティブ/アクティブ ストレージ、またはアクティブ/スタンバイ ストレージを使用する必要があります。クラスタスイッチ後もサービスIPは変更されないため、センター間で高可用性クラスタを展開する場合、センター間VLAN拡張を実装するだけでなく、高可用性クラスタ間に展開されるネットワークハートビートリンク（Heartbeat）も同じVLAN内にある必要があります。

VM 移行アプリケーションと同様に、センター間で高可用性クラスターを展開する場合も、レイヤー 3 パス最適化の問題を考慮する必要があります。展開方法は VM シナリオと同じです。

3. 結論

この記事では、分散データ センターの 2 つのアプリケーション シナリオ、つまり仮想マシンのセンター間移行とサーバー HA クラスターについて説明します。これらには、3 種類のネットワーク相互接続と関連する技術実装が含まれます。実際、どの技術的ソリューションが使用されても、それが顧客の実際のビジネス ニーズと物理的な環境に真に適合している場合にのみ、それは優れたソリューションとなります。したがって、ソリューションを設計する際には、ニーズに応じて適切な技術的実装方法を選択することが特に重要です。