Kubernetes: ベアメタルと仮想マシンのパフォーマンス比較

この記事では、CPU、メモリ、ストレージ、ネットワークパフォーマンスの観点から、仮想マシンとベアメタル上の Kubernetes クラスターのパフォーマンスを詳細に比較および分析します。

Kubernetes は、ベアメタル上で VM よりも本当にパフォーマンスが優れているのでしょうか?彼は、Kubernetes を含むクラウドネイティブテクノロジーに関連するさまざまな企業で 5 年以上の執筆経験を持っています。執筆活動を始める前、オレグは…として働いていました。

多くの人は、物理マシンにデプロイされた Kubernetes クラスターの方が仮想マシンにデプロイされたクラスターよりもパフォーマンスが優れていると考えていますが、これまでのところ、この仮定を裏付ける証拠はありませんでした。 Gcore では、証拠によって十分に裏付けられた情報のみをお客様に提供しているため、物理マシンと仮想マシンに展開された K8S の間に実際にパフォーマンスの違いがあるかどうか、ある場合はその違いはどの程度大きいかを自らテストすることにしました。社内テストの結果を共有します。

コスト効率やインフラストラクチャ制御のレベルなど、物理ノードと仮想ノード間の競争の他の側面については意図的に説明しません。これは、パフォーマンスの比較のみに焦点を当てたこの記事の範囲を超えています。

Kubernetes クラスターを仮想マシンにデプロイすると、物理マシンと比較して、ハイパーバイザーと仮想マシンオペレーティングシステムという追加のインフラストラクチャレイヤーが得られます。

図 1: 物理マシンアーキテクチャと仮想マシンアーキテクチャの違い。

これらのレイヤーは実行時に物理 CPU と RAM を消費するため、ある程度の計算能力を消費します。仮想化はネットワークとストレージのパフォーマンスにも影響します。仮想ネットワークとストレージは、物理ネットワークとストレージよりも遅くなります。

対照的に、物理サーバーに Kubernetes クラスターを展開する場合、追加のインフラストラクチャレイヤーや仮想化は必要ありません。サーバーの物理リソースは完全にワークロード専用となり、コンテナ化されたアプリケーションはそれらのリソースに直接アクセスします。

仮想マシンと物理マシンでのKubernetesのパフォーマンスを比較する方法

仮想マシンと物理マシンのパフォーマンス比較を完全に理解するために、次のメトリックを測定しました。

CPU: 速度と使用率
RAM: レイテンシ
ストレージ: 1 秒あたりのトランザクション数 (TPS) とレイテンシ
ネットワーク: 帯域幅と遅延

実験の純粋性を保つために、すべてのテストアプリケーションはコンテナ化され、比較対象のワーカーノードにデプロイされました。

私たちのテスト条件

テストには、Gcore が管理する Kubernetes (https://gcore.com/cloud/managed-kubernetes) で実行される K8s クラスターを使用しました。ただし、マネージド Kubernetes はワーカーノードのパフォーマンスに追加のオーバーヘッドを追加しないため、結果はネイティブ Kubernetes にも適用されます。

ワークロードを同じ条件に保つために、同様に構成された仮想ワーカーノードと物理ワーカーノードを選択しました。次に、このような比較構成の例を示します。

物理ワーカーノード: 1x Intel Xeon E-2388 8C/16T 3.2 GHz / 64 GB / Ubuntu 22.04
VM ワーカーノード: 16 vCPU / 64 GiB メモリ / Ubuntu 22.04

テスト結果の概要

私たちのテストでは、仮想マシン (VM) にデプロイされた Kubernetes クラスターと物理マシンにデプロイされた Kubernetes クラスターの 2 つを比較しました。構成は似ています。テストワークロードとして以下を実行しました:

CPUテスト用のCPUベンチマーク
RAMテスト用のSysbench
ストレージテスト用の Pgbench
ネットワークテスト用のNetperf

次の表は最も重要なテスト結果をまとめたものです。

図 2: テスト結果の概要。

明らかに、すべてのケースにおいて、物理マシンのクラスターの方が効率的です。

この記事の後半で結果を詳しく検証し、物理マシンのパフォーマンス向上がワークロードにとってどのような意味を持つかを判断します。ただし、まず、Kubernetes クラスターを仮想マシンにデプロイする場合と物理マシンにデプロイする場合の基本的な違いを簡単に確認してみましょう。

詳細なテスト結果

それでは、各評価基準に関して、物理マシンクラスターと仮想マシンクラスターのパフォーマンスを詳しく見てみましょう。

CPU速度と使用率

CPU 速度の比較には、Alex Dedyura の CPU ベンチマークを使用しました。 π を小数点以下 10,000 桁まで計算するスクリプトです。計算時間は秒単位で、10 回のテストの平均値がテスト結果として取得されます。 π の計算は CPU を集中的に使用するタスクであるため、ベンチマークによってテスト対象の CPU のパフォーマンスが明確に示されます。

CPU 速度の比較結果は次のとおりです。

図 3: 物理マシンクラスターの CPU 速度は、仮想マシンクラスターの CPU 速度の 2 倍以上です。

仮想マシンクラスターの 10 回の再試行の平均時間は 47.07 秒でした。物理マシンクラスターの場合は 21.46 秒でした。その結果、物理マシンクラスターの速度は 2 倍以上になります。

仮想マシンクラスターの CPU 使用率テストの結果は次のとおりです。

写真

図 4: 仮想マシンクラスターの平均 CPU 使用率は 86.81% です。

図 5: 仮想マシンクラスターの CPU コア使用率情報。

上の図 4 では、赤い点は CPU コアの最大負荷を表し、緑はすべてのコアの合計 CPU 負荷を表します。スクリプトの実行中、コアはほとんどの時間 100% の使用率で実行されました。平均は86.81%でした。また、15:16 頃にはプリエンプション時間のスパイクがわずかに見られますが、これは、物理 CPU がコンピューティングリソースを共有するのを待機しているために VM が実行されていない場合によく見られる状況です。

*最大 CPU コア負荷: このメトリックは通常、VM 内または VM ホスト間で観測される単一の CPU コアの最高使用率を示します。特定の CPU コアがどの程度使用されているかを示します。 **すべてのコアの合計 CPU 負荷: このメトリックは、ホスト上のすべての使用可能な CPU コアの全体的な CPU 使用率を表します。すべての CPU コアの合計使用量を考慮し、ホスト上で実行されているすべての VM によって使用される CPU 容量の全体的なビューを提供します。

物理マシンクラスターの CPU 使用率テストの結果は次のとおりです。

図 6: 物理マシンクラスターの平均 CPU 使用率は 43.75% です。

平均CPU負荷は約43.75%、最大は62.57%で、プリエンプション時間はありません。したがって、CPU パフォーマンスの点では、物理マシンクラスターは仮想マシンクラスターの約 2 倍の効率であることがテストで示されました。

RAM レイテンシ

RAM テストでは、sysbench を使用して、6400 GB のデータを RAM 経由で転送しました。実行された書き込みおよび読み取り操作の主な結果は次のとおりです。

写真

7: 物理マシンクラスターの RAM 速度は、仮想マシンクラスターの約 3 倍高速です。

仮想マシンクラスターの平均書き込み時間は 174.53 ミリ秒ですが、物理マシンクラスターが同じ操作を実行する時間は 62.02 ミリ秒です。読み取り操作はそれぞれ 173.75 ミリ秒と 47.33 ミリ秒で完了しました。

つまり、物理マシンのクラスターの RAM は、仮想マシンのクラスターの RAM よりも約 3 倍高速です。

ストレージ TPS とレイテンシ

ストレージのパフォーマンスをテストするために、PostgreSQL クラスターを実行し、pgbench ベンチマークを使用しました。 TPS (1秒あたりのトランザクション数) とレイテンシを測定しました。また、ワークロードを変化させ、同じクラスター構成で 8 GB および 75 GB のデータベースをテストしました。

インスタンスの構成は次のとおりです。

図 8: ストレージテスト用の物理マシンと仮想マシンのクラスター構成。

TPS結果の保存

TPS 比較の平均結果は次のとおりです。

写真

図 9: 物理マシンクラスターのストレージ TPS 値は、仮想マシンクラスターの約 2 倍です。

8GB のデータベースを実行すると、仮想マシンクラスターでは 7,359 TPS が示され、物理マシンクラスターでは 14,087 TPS が示されました。 75GB データベースのパフォーマンス結果は、それぞれ 4,636 TPS と 12,029 TPS です。

遅延結果の保存

レイテンシテストの平均結果は次のとおりです。

図 10: ストレージのレイテンシに関しては、物理マシンが仮想マシンよりも優れています。

8GB のデータベースを実行した場合、仮想マシンクラスターのレイテンシは 34.78 ミリ秒でしたが、物理マシンクラスターのレイテンシは 18.17 ミリ秒でした。 75GB のデータベースの場合、レイテンシはそれぞれ 55.21 ミリ秒と 21.28 ミリ秒でした。

8GB のデータベースを実行する場合、物理マシンクラスターのストレージパフォーマンスは仮想マシンクラスターの約 2 倍になります。 75 GB のデータベースの場合、仮想マシンクラスターよりも物理マシンクラスターの利点がより明白になります。

ネットワーク帯域幅と遅延

ネットワークパフォーマンスをテストするために、最大セグメントサイズ (MSS) が 1 ～ 65,536 の netperf ベンチマークを使用しました。 MSS の「セグメント」要素は、ネットワーク経由で送信される IP パケットのバンドルです。したがって、MSS が大きいほど、送信されるトラフィックが大きくなります。

2 つの物理ノードに 3 つのワーカーノードを展開しました。ワーカー 1 とワーカー 2 は最初のノードにあり、ワーカー 3 は 2 番目のノードにあります。次に、3 つのワーカーノード間のネットワークパフォーマンスをテストしました。結果の傾向はすべてのケースで同様であり、物理マシンは仮想マシンよりも優れています。

最も興味深いテストは、ワーカーノード間の物理的な距離が最も大きいテストです。つまり、トラフィックが最初の物理ノードと 2 番目の物理ノード間で流れているときの、ワーカー 1/ワーカー 2 (最初のノード上) とワーカー 3 (2 番目のノード上) 間の距離です。これはすべてのテストの中で最も困難な条件であると考えられます。図10と11にこのテストの結果を示します。図10は、MSS値が1、2、4、8の場合のネットワーク帯域幅の比較を示しています。

図 11: 物理マシンクラスターのネットワーク帯域幅は、仮想マシンクラスターの 5 倍です。

仮想マシンクラスターの帯域幅は、MSS=1 で 862KB/秒から MSS=8 で 6.52MB/秒の範囲ですが、物理マシンクラスターの帯域幅は MSS 値で 4.17MB/秒から 31MB/秒の範囲です。平均して、物理マシンクラスターの帯域幅は仮想マシンクラスターの 5 倍です。

図 12 は、同じ MSS 値を使用したネットワーク遅延の比較を示しています。

図 12: 物理クラスターのネットワーク遅延は、仮想クラスターの最大 6 倍低くなります。

ご覧のとおり、MSS = 8 で測定すると、VM クラスターのレイテンシは約 145 マイクロ秒ですが、物理マシンのレイテンシは 24.5 マイクロ秒で、約 6 倍高くなります。さらに、物理マシンクラスターの場合、MSS が増加すると、レイテンシの増加は緩やかになります。

すべてのテストでは、クラスターネットワーク内のネットワークパフォーマンスの比較を報告することに注意してください。 1 つの場所にあるネットワーク内のノード間の帯域幅と遅延を測定しました。異なる場所にあるノードを使用すると、インターネットの待ち時間が増加し、不安定になり、プロバイダーごとに異なる可能性があります。私たちは合成条件下でそれらを純粋に保ちます。実際の環境では再現できない可能性があります。ただし、一般的な傾向は再び現れることが予想されます。

物理的なマシンパフォーマンスの利点の重要性

仮想マシンと比較して物理マシンのパフォーマンスが優れていることにより、2 つのシンプルだが重要な利点が得られます。

物理マシンのワーカーノードにデプロイされたアプリケーションは、仮想マシンにデプロイされたアプリケーションよりも高速に実行され、応答します。
したがって、物理マシンを選択すると、顧客は製品をより快適に使用できるようになります。

私たちのテスト結果は、データベース、AI/ML モデル、その他の種類のリアルタイムアプリケーションなど、高パフォーマンスと低レイテンシが求められる計算集約型のワークロードには物理マシンの方が適しているという常識を裏付けています。仮想マシンは、Web サーバー、Web サイト、開発環境など、コンピューティングとレイテンシの影響を受けにくいワークロードに適しています。高いパフォーマンスと低レイテンシーがユーザーにとって重要であり、ビジネスに直接影響を与える場合は、Kubernetes クラスターで物理マシンを使用することを検討する必要があります。