Kubernetes はバージョン 1.6 以降、5,000 を超えるノードをサポートできると主張していますが、数十から 5,000 までのノード数の増加に伴い、問題が発生することは避けられません。 この記事では、Kubernetes 5000 への道のりにおける Open API の経験、遭遇した問題、問題解決の試み、実際の問題の発見などについて説明します。
遭遇した問題とその解決方法 質問1: 1〜500ノード後 質問: kubectl がタイムアウトすることがあります (ps kubectl -v=6 ですべての API の詳細を表示できます) 解決を試みる:
理由: 上記の理由を除いて、マスター上の残りのサービス(etcd、kube-proxy)の確認を開始します。
質問2: ノードが約1000個ある場合 質問: kube-apiserverはetcdから毎秒500MBを読み込むことが判明した。 解決を試みる:
理由:
etcd のヒント: --etcd-servers-overrides を使用すると、Kubernetes イベント データをセグメントとして書き込み、異なるマシンで処理することができます (以下を参照)。
問題3: 1000~2000ノード 質問: これ以上データを書き込めません。エラーが連鎖的に発生しました kubernetes-ec2-autoscalerは、すべてのetcdが停止した後にのみ問題を返し、すべてのetcdをシャットダウンします。 解決を試みる:
解決:
各種サービスの最適化 Kubeマスターの高可用性 一般的に言えば、私たちのアーキテクチャは、kube-master (kube-apiserver、kube-scheduler、kube-control-manager を含む主要な Kubernetes サービス プロバイダー コンポーネント) と複数のスレーブで構成されます。ただし、高可用性を実現するには、次の方法を参照してください。
上記はKubernetesスケジューラを調整する例です。 InterPodAffinityPriority の重みを増やすことで、目標を達成できます。参考までに、その他の例もご覧ください。 現在の Kubernetes スケジューラ ポリシーは動的切り替えをサポートしておらず、kube-apiserver を再起動する必要があることに注意してください (問題: 41600) スケジューラポリシーの調整による影響 OpenAIはKubeDNSを使用していましたが、すぐに 質問: DNS クエリが頻繁に失敗する (ランダムに発生する) 約200QPS以上のドメイン検索 解決を試みる:
解決:
新しいノードを作成するときにDockerイメージのプルが遅くなる 質問: 新しいノードが構築されるたびに、Dockerイメージのプルに30分かかります 解決を試みる:
解決:
補足: ソーストレース
Dockerイメージのプル速度の向上 さらに、次の方法でプル速度を向上させることもできます。
ネットワークパフォーマンスの向上 フランネルのパフォーマンスの限界 OpenAIノード間のネットワークトラフィックは10~15GBit/sに達する可能性がありますが、Flannelによりトラフィックは2GBit/sまで低下します。 解決策は、フランネルを削除し、実際のネットワークを使用することです
|
>>: この記事では、「エッジコンピューティング」とモノのインターネットの密接な関係について説明します。
IPLC としてスタートした hmbcloud (ハーフ ムーン ベイ) は、ロサンゼルスの DC5...
VaporNode.com のフロリダ データ センターには、特別価格の VPS が 2 つあり、ど...
ウェブマスターとして、誰もが新しいウェブサイトにできるだけ早くトラフィックを集め、できるだけ早くラン...
東莞SEO業界の発展と応用が遅れる中、知識格差の欠点が再び明らかになった。この短い8日間で、適応、認...
本日は有料ユーザーに関するレポートをシェアし、各プラットフォームの有料会員の状況や、eコマース以外で...
COVID-19パンデミックは世界中に広がり続けており、経済活動の大幅な減少を引き起こし、グローバル...
Google はパートナー ネットワークを閉鎖し、他の CPA 広告 (アクション単価、広告の効果に...
さて、オンラインプロモーションを実施する場合でも、SEOを実施する場合でも、ターゲットオーディエンス...
Baidu アルゴリズムの継続的な改訂により、ウェブサイトの最適化作業はますます困難になり、最適化に...
あなたの英語力はどのくらいですか? AI音声認識が先導します!有名なアメリカの言語学者ケネス・L・ヘ...
VaiCDNはHuawei Cloudの1級認定ディーラーであり、現在香港から深センへの直接接続に「...
リレーショナル データベースは半世紀も前から存在しており、そのさまざまなサブカテゴリ (ドキュメント...
ReverseHosts は 1 年前から存在しています。少し驚きましたか?逃げなかったの?はい、本...
コンテンツは王様、外部リンクは女王です。SEO に携わる人なら誰でもこのことを知っています。オンサイ...
概要: mokvm は、主にマカオ VPS、マカオ テレコム データ センター (CTM) に従事し...