Kubernetes はバージョン 1.6 以降、5,000 を超えるノードをサポートできると主張していますが、数十から 5,000 までのノード数の増加に伴い、問題が発生することは避けられません。 この記事では、Kubernetes 5000 への道のりにおける Open API の経験、遭遇した問題、問題解決の試み、実際の問題の発見などについて説明します。
遭遇した問題とその解決方法 質問1: 1〜500ノード後 質問: kubectl がタイムアウトすることがあります (ps kubectl -v=6 ですべての API の詳細を表示できます) 解決を試みる:
理由: 上記の理由を除いて、マスター上の残りのサービス(etcd、kube-proxy)の確認を開始します。
質問2: ノードが約1000個ある場合 質問: kube-apiserverはetcdから毎秒500MBを読み込むことが判明した。 解決を試みる:
理由:
etcd のヒント: --etcd-servers-overrides を使用すると、Kubernetes イベント データをセグメントとして書き込み、異なるマシンで処理することができます (以下を参照)。
問題3: 1000~2000ノード 質問: これ以上データを書き込めません。エラーが連鎖的に発生しました kubernetes-ec2-autoscalerは、すべてのetcdが停止した後にのみ問題を返し、すべてのetcdをシャットダウンします。 解決を試みる:
解決:
各種サービスの最適化 Kubeマスターの高可用性 一般的に言えば、私たちのアーキテクチャは、kube-master (kube-apiserver、kube-scheduler、kube-control-manager を含む主要な Kubernetes サービス プロバイダー コンポーネント) と複数のスレーブで構成されます。ただし、高可用性を実現するには、次の方法を参照してください。
上記はKubernetesスケジューラを調整する例です。 InterPodAffinityPriority の重みを増やすことで、目標を達成できます。参考までに、その他の例もご覧ください。 現在の Kubernetes スケジューラ ポリシーは動的切り替えをサポートしておらず、kube-apiserver を再起動する必要があることに注意してください (問題: 41600) スケジューラポリシーの調整による影響 OpenAIはKubeDNSを使用していましたが、すぐに 質問: DNS クエリが頻繁に失敗する (ランダムに発生する) 約200QPS以上のドメイン検索 解決を試みる:
解決:
新しいノードを作成するときにDockerイメージのプルが遅くなる 質問: 新しいノードが構築されるたびに、Dockerイメージのプルに30分かかります 解決を試みる:
解決:
補足: ソーストレース
Dockerイメージのプル速度の向上 さらに、次の方法でプル速度を向上させることもできます。
ネットワークパフォーマンスの向上 フランネルのパフォーマンスの限界 OpenAIノード間のネットワークトラフィックは10~15GBit/sに達する可能性がありますが、Flannelによりトラフィックは2GBit/sまで低下します。 解決策は、フランネルを削除し、実際のネットワークを使用することです
|
>>: この記事では、「エッジコンピューティング」とモノのインターネットの密接な関係について説明します。
——24KピュアクラウドERPがここにあります。一見すると、伝統的な地元のものの影がいたるところに見...
vps2dayは2011年にVPS事業を開始し、ドイツ、オランダ、イギリス、スウェーデン、ルーマニア...
「接続された」デバイスの数が増えると過剰なデータが生成されますが、モノのインターネット (IoT) ...
数日前、Geek Park Innovation Conference で、2013 年の起業家に向...
6月28日の事件は、多くのウェブマスターの友人を今も悩ませています。ウェブサイトは破壊され、回復の兆...
マルチクラウドまたはハイブリッド戦略により、企業は最適なクラウドネイティブ サービスを自由に使用でき...
「彼らは毎日、潜在的な犠牲者を探し、彼らを『肉』と呼んでいます。一度誰かを見つけると、グループで手配...
8 月 10 日、Baidu Webmaster Community は「Webmaster Cli...
AllGamerは2011年に米国ダラスで設立されました。ダラスにコンピュータールームを持つ有限会社...
顧客に真実を伝えるか、検索エンジンに関する真実を明らかにします。長い間記事を書いていませんでした。最...
特別価格のサーバーが必要な友人はラッキーです。ColorCrossing 傘下の HudsonVal...
さっそく、タイトルをご覧になったと思います。以下では、2 つの仮想 Baidu プロモーション アカ...
最近、世界的に有名な調査機関であるIDCが「中国パブリッククラウドサービス市場(2020年第3四半期...
最近、多くのウェブマスターが不満を漏らしているのを見ました。彼らは皆、外部リンク構築の範囲がどんどん...
安価な VPS を購入したいですか? BandwagonHost から特別版 VPS を購入したいで...