vivo は 2018 年以来、コンテナをベースとしたワンストップのクラウドネイティブ機械学習プラットフォームを構築してきました。アルゴリズムミドルプラットフォームをサポートし、アルゴリズムエンジニアにデータ管理、モデルトレーニング、モデル管理、モデル展開などの機能を提供し、広告、推奨、検索などのビジネスに力を与え、アルゴリズムのコスト削減と効率向上に成功し、クラウドネイティブとコンテナの価値がその優位性を示し始めます。機械学習プラットフォームのパイロット結果に基づいて、パイロット実践とアルゴリズムシナリオの価値分析を経て、内部戦略がアップグレードされました。大規模なコスト削減と効率化の目標を達成するために、クラウドネイティブコンセプトに基づいた業界をリードするコンテナエコシステムを構築することを決意します。 本稿では、高可用性コンテナ クラスターの構築における磨き上げと構築、コンテナ クラスターの自動運用と保守、コンテナ プラットフォーム アーキテクチャのアップグレード、コンテナ プラットフォーム機能の強化、コンテナ エコシステムの接続性など、高可用性コンテナ クラスターの構築における vivo の具体的な実践について詳しく紹介します。現在、vivo のコンテナ製品機能マトリックスは徐々に充実しており、完全なコンテナ化、クラウド ネイティブの採用、オフライン コロケーションという 3 つの方向に引き続き注力していきます。 現在、クラウドネイティブやコンテナが話題となっており、コンテナオーケストレーションの分野ではKubernetesが事実上の標準となっています。 国内外の企業がクラウドネイティブやコンテナを社内に導入する過程では、それぞれのビジネスシナリオや開発段階に応じてさまざまな問題や課題に遭遇します。この記事は、クラウド ネイティブ コンテナ分野における vivo の調査と実装の実践について説明しています。読者の皆様にとって参考になり、お役に立てれば幸いです。 1. コンテナ技術とクラウドネイティブコンセプト1 つ目は、コンテナ テクノロジーとクラウド ネイティブの概念の導入です。 1.1 コンテナ技術の概要コンテナ技術は新しい技術ではありません。 chroot は 1979 年に Unix システムに誕生してから現在に至るまで、40 年以上の発展を経ており、技術萌芽段階、技術爆発段階、商業探索段階、商業拡大段階という4 つの段階を経てきました。 各段階で、環境の分離、ソフトウェアの配布とオーケストレーション、商用サービスの形式、規模とシナリオの拡張など、さまざまな技術的問題が解決されました。 仮想マシンと比較すると、コンテナ テクノロジでは仮想オペレーティング システムの損失レイヤーが 1 つ少ないため、仮想マシンよりもパフォーマンスが優れています。さらに、コンテナには、システム リソース、起動時間、クラスター サイズ、高可用性戦略の面でも非常に明らかな利点があります。 2020 年の CNCF 中国クラウド ネイティブ調査レポートによると、調査対象となった中国企業の 68% がすでに本番環境でコンテナ テクノロジーを使用しています。 業界の発展の観点から見ると、クラウドベンダーと大手テクノロジー企業の両方が、コンテナ技術に基づく独自の新世代インフラストラクチャを構築し、企業のデジタルイノベーションを推進しています。コンテナ技術は広く認知され、普及しています。 1.2 クラウドネイティブコンセプトの紹介コンテナ技術はクラウドネイティブのトレンドを生み出し、クラウドネイティブのエコシステムはコンテナ技術の発展を促進しました。では、クラウド ネイティブの正確な定義と意味は何でしょうか? 実際のところ、クラウド ネイティブには標準的な定義はありません。定義するなら、業界には 2 つの見解があります。
クラウド ネイティブは、3 つのコア テクノロジーと2 つのコア コンセプトに分類されます。
ただし、どのような定義であっても、コンテナはクラウド ネイティブの実装の基盤であり、中核となる技術的手段です。 1.3 クラウドネイティブの価値分析あらゆるテクノロジーとコンセプトには実用的なビジネス価値がなければなりません。クラウドネイティブとコンテナの技術的価値は、効率、コスト、品質の 3 つの側面から分析でき、次のようにまとめることができます。
2. Vivoコンテナ技術の探究と実践新しいテクノロジーの導入は新しい価値をもたらしますが、必然的に新しい問題も生じます。次に、vivo のコンテナ技術の探求と実践について紹介します。 2.1 パイロット調査vivo のアルゴリズム シナリオでは、機械学習プラットフォームがアルゴリズム モデルの反復を担当し、インターネット アルゴリズム ビジネスの中核部分を担っています。初期のプラットフォームは従来のアーキテクチャに基づいており、効率、コスト、パフォーマンス、エクスペリエンスの面で一定の欠陥があり、アルゴリズムビジネスの急速な成長の要求を満たすことができませんでした。これに基づいて、まずアルゴリズム シナリオにおけるコンテナーのパイロット調査を実施しました。 2018年以来、当社はコンテナをベースとしたvivoのワンストップクラウドネイティブ機械学習プラットフォームを構築しており、同社のアルゴリズムミドルプラットフォームをサポートし、アルゴリズムエンジニアにデータ管理、モデルトレーニング、モデル管理、モデル展開などの機能を提供し、広告、推奨、検索などのビジネスを強化しています。 vivo のクラウドネイティブ機械学習プラットフォームには、次の 5 つの利点があります。
vivo のクラウドネイティブ機械学習プラットフォームは、コストの削減とアルゴリズムの効率性の向上に成功し、クラウドネイティブとコンテナの価値が現れ始めました。 2.2 価値マイニングこれまでの機械学習プラットフォームのパイロット結果に基づいて、コンテナとクラウドネイティブの価値を深く分析し、探求しました。 vivo の状況と組み合わせると、コンテナとクラウド ネイティブが、企業がコストを削減し、大規模に効率を向上させるための最適なソリューションであることがわかりました。 1) コスト削減の観点から 現在、当社の社内サーバーリソースの利用率は比較的低い状態です。 CPU 使用率を例にとると、vivo サーバーの現在の平均使用率は約 25% です。業界一流水準の40~50%に比べると、まだまだ改善の余地は大きい。 リソースの分離、統合されたスケジューリング、オフラインの共同配置におけるコンテナの利点はすべて、リソースの ROI を向上させる効果的な技術的手段です。 2) 効率性の向上 現在、ミドルウェアのバージョンアップグレード、マシンの移行、テスト環境の管理、突然のトラフィックの応答、グローバル展開における環境の一貫性といったビジネス上の課題があります。 迅速なコンテナ配信、柔軟な自己運用と保守、マイクロサービス、サービスメッシュなどのクラウドネイティブテクノロジーとアーキテクチャは、効率を向上させる強力な手段です。 2.3 戦略的アップグレードパイロット実践とアルゴリズムシナリオの価値分析を経て、当社は社内戦略をアップグレードし、大規模なコスト削減と効率向上の目標を達成するために、クラウドネイティブコンセプトに基づく業界をリードするコンテナエコシステムを構築することを決定しました。 戦略の実現とクラウドネイティブの採用をより適切に一致させるために、社内の技術アーキテクチャも再計画およびアップグレードし、統合トラフィックアクセスプラットフォーム、コンテナ運用および保守管理プラットフォーム、統合ネームサービス、コンテナ監視などの新しいプラットフォームと機能を導入して、社内のコンテナエコシステムの包括的な構築と推進をサポートしています。 2.4 課題2.4.1 クラスターの課題 大規模な本番環境対応のコンテナ サービスを提供するには、まずコンテナ クラスターの可用性に関して多くの課題に直面します。以下では、生産クラスターの構築中に vivo コンテナ化が直面した 4 つの主要な課題を紹介します。
これらの課題に対処するための当社のソリューションは、高可用性、可観測性、標準化、自動化です。コンテナ監視とk8sバージョンのロスレスアップグレードの課題については、vivo公式アカウントで詳しく紹介されています。この記事では、クラスターの高可用性と運用および保守の自動化に焦点を当てます。 2.4.2 プラットフォームの課題 クラスターの安定性という課題に加えて、プラットフォームはさまざまな課題にも直面します。コンテナ プラットフォームと周囲のエコシステムの機能が不完全なため、ビジネスには高い適応および移行コストがかかります。まとめると、私たちは主に 4 つの課題に直面しました。
上記の課題により、当社はコンテナを中心としたエコシステムをオープン化し、同時にコンテナ プラットフォームの製品機能を強化してさまざまなビジネス シナリオに適応し、ユーザーの移行コストを削減することになりました。 2.5 ベストプラクティス2.5.1 コンテナクラスタの高可用性構築 次に、コンテナ クラスターの高可用性を構築するための vivo のベスト プラクティスを紹介します。障害予防、障害検出、障害回復という3 つの側面からコンテナ クラスターの可用性保証システムを構築します。 1. 障害防止に関しては、プロセス ツール、災害復旧機能、インフラストラクチャの3 つの側面から構築します。
2. 障害検出に関しては、主に自社構築の監視パネル、毎日のクラスター検査、コアコンポーネントの監視、クラスター外部ダイヤリングテストなどの対策を採用し、障害を迅速に検出して対処し、ビジネスへの影響を軽減します。 3. 障害復旧に関しては、以前の障害計画を主に頼り、迅速に復旧し、時間内に損失を止め、障害のレビューを適切に行い、障害防止および検出メカニズムを継続的に改善し、貴重な経験を積み重ねています。 さらに、クラスターの可観測性は可用性を確保するための重要な基盤となります。クラスターのステータスをリアルタイムで監視するために、独自の SLO パネルを構築します。運用状況をよく把握して初めて、私たちは安定してあらゆる変化に冷静に対応できるようになります。 2.5.2 コンテナクラスタの自動運用と保守 コンテナ クラスタ自体の安定性を構築するだけでなく、運用保守の自動化の面では、コンテナ マルチ クラスタ管理プラットフォームを構築し、クラスタ構成の標準化とホワイト スクリーン コアの運用保守シナリオを実現し、運用保守の効率を向上しました。 当社のコンテナ クラスター管理プラットフォームは、クラウド ネイティブをクラウド ネイティブな方法で管理します。簡単に言えば、k8s 上に k8s を実装するための k8s オペレーター メカニズムに基づいています。 現在、当社のプラットフォームは複数のクラスターの統合管理を実現できます。クラスターの展開も自動化され、標準化されています。基盤となる IAAS レイヤーも接続されています。クラスター ノードは、完全にプロセス指向かつ視覚的な方法で、ワンクリックで拡張および縮小できます。クラスター検査機能は、クラスターの問題や隠れた危険をタイムリーに検出するのに役立ちます。 プラットフォームを通じた日常的なメンテナンスと運用により、効率が向上するだけでなく、監査機能も備わります。操作ログと変更ログをトレースして、問題の特定を容易にすることができます。 2.5.3 コンテナプラットフォームアーキテクチャのアップグレード 社内における業務コンテナ化の急速な普及・推進に対応するため、vivo のコンテナ プラットフォーム アーキテクチャをアップグレードしました。 新しいアーキテクチャは4つのレイヤーに分かれており、コンテナ+k8sが統一基盤として機能し、下位に同社のIAASレイヤーインフラストラクチャを接続し、上位にコンテナ製品とプラットフォーム機能を提供し、上位レイヤーが独自の上位レイヤーロジックを呼び出してカスタマイズするためのオープンAPIを提供します。 API の上には、オンライン サービス、ミドルウェア サービス、ビッグ データ コンピューティング、アルゴリズム トレーニング、リアルタイム コンピューティングなど、コンテナーによってサポートされるさまざまなサービス タイプがあります。最上位層は、vivo のさまざまなインターネット ビジネスを強化します。 このコンテナ プラットフォーム アーキテクチャに基づいて、企業はリソースの分離展開、迅速な配信、オンデマンド使用を実現できると同時に、より優れた弾力的なスケーリング機能も得られます。このプラットフォームでは、リソースのスケジュールを統一し、リソースのタイムシェアリング再利用を実装し、オフラインのコロケーションを実装して、リソースの使用率を向上させることができます。 2.5.4 コンテナプラットフォーム機能の強化 vivo 内のコンテナ化シナリオは非常に多様です。企業がコンテナを安全かつ低コストでアクセス・利用できるようにするために、推進過程でオープンソース+自社研究に基づきコンテナの適応やネイティブ機能の強化を行いました。 ここでは、6 つの製品機能強化について簡単に説明します。
もちろん、オープンソースのメリットを十分に享受しながら、オープンソースのコラボレーションにも参加し、コミュニティに貢献し続けます。使用と自己研究のプロセスの中で、私たちは制作実践で発見した問題や蓄積された経験を、Dragonfly2、Karmadaなどのコミュニティにも提出します。 2.5.5 コンテナCICDの統合 コンテナプラットフォームは、PaaSプラットフォームとしてプラットフォーム機能を強化するだけでなく、周囲のエコシステムと連携し、ビジネスの移行や活用をより良くしていく必要があります。これらの中で最も重要なのは、CICD プラットフォームであるリリース システムの接続です。 ほぼすべてのテクノロジー企業が独自の CICD を持っています。これは、ビジネスを構築し、デプロイメント パイプラインを調整できる DevOps 自動化ツールです。 vivo の CICD プラットフォームの基盤となるアーキテクチャは、JenKins+Spinnaker に基づいています。コンテナの構築と展開のプロセス全体は次のとおりです。
2.5.6 統合交通アクセス 次に、コンテナ エコシステムで最も重要なビジネス トラフィック アクセス レイヤーを紹介します。 初期の頃、vivo は南北および東西のトラフィックを転送するために Nginx を使用していました。仮想マシンと物理マシンのシナリオで比較的良好なサポートを提供できます。社内でのコンテナの全面的な推進により、従来の Nginx アーキテクチャは適応できなくなりました。 これは主に、コンテナ シナリオにおけるビジネス インスタンスの数が、元の仮想マシンや物理マシンと比較して飛躍的に増加しているという事実に反映されています。コンテナのリリース プロセス中に IP とステータスの同期が頻繁に変更されると、Nginx クラスターに大きな負担がかかります。ビジネス リクエストの量が非常に多い場合、アクセス レイヤーで構成ファイルの更新と読み込みによってビジネス ジッタが発生し、これは許容できません。 このような背景から、完全なコンテナ化のニーズを満たすために、APISIX をベースにしたクラウドネイティブのトラフィック アクセス レイヤーを構築しました。 1 年以上の構築を経て、当社の統合トラフィック アクセス プラットフォームは、コンテナ化されたアクセスを適切にサポートできるようになり、スケーラビリティも向上しました。 2.6 実践的な結果2.6.1 製品機能マトリックスの改善 長年にわたる改良と構築を経て、vivo のコンテナ製品機能マトリックスはより完全なものになりました。製品機能マトリックス全体は 4 つのレイヤーに分かれています。
2.6.2 ビジネスアクセスの結果は抜群 次に、vivoコンテナのプロモーションについて詳しく紹介します。 現在、vivo内のコンテナは主に、インターネットオンラインビジネス、オンラインアルゴリズム、ビッグデータコンピューティング、 AIアルゴリズムトレーニングの4つのシナリオをカバーしています。次にアクセス規模と価値について簡単に紹介します。
ビジネスがコンテナ化されると、拡張と縮小の効率、弾力的なスケーリング機能、ビジネスの自己修復機能、リソース コストなどの側面を含む、コスト削減と効率向上の効果は非常に明白です。 2.7 実践のまとめ私たちの探求と実践に基づいて、私たちの考えを、テクノロジーの価値、プロモーション戦略、プラットフォームの構築、クラウド ネイティブのブレークスルーという 4 つの側面にまとめることができます。
一般的に、テクノロジーはビジネスに役立ちます。企業は自社の現状に応じて適切なソリューションを見つけ、ビジネスに価値を生み出す必要があります。 3. Vivoのクラウドネイティブの将来展望3.1 生体インフラ開発過去 10 年間を振り返ると、vivo インフラストラクチャの開発は次の 3 つの段階を経てきました。
3.2 Vivoクラウドネイティブの将来展望物事の原点に立ち返り、正しいことを正しく行いましょう。盲目的に他人に従うのではなく、決意を持ち、価値観に基づいて、新しい技術の発展を客観的に見て、大胆な仮定を立て、慎重に検証し、実践を通じて真の知識を獲得します。 vivo クラウド ネイティブの将来は、完全なコンテナ化、クラウド ネイティブの採用、オフライン ハイブリッド展開という 3 つの方向に発展します。
|
>>: フォレスター:パブリッククラウド市場規模は2026年までに1兆ドルを超える
Jindouyun (jdouu) の活動: 米国サンノゼの双方向 cn2 gia 回線、50Mbp...
過去数年間のブログで、私が最も心配しているのは休日です。私が休暇を取ったり、どこかに出かけたりするた...
新華社通信のチケット取得プラグインが依然として混乱している中、人民日報オンラインのインスタント検索も...
高度30,000フィート、巡航速度マッハ0.85、ボーイング 787 に搭乗すると、あなたはすでに雲...
どの企業も大規模で包括的なビッグデータ プラットフォームの構築を望んでいますが、実践により、持続可能...
世の中が「独身男性」で溢れかえっている現状を受けて、さまざまな出会い系アプリが登場し始めている。 L...
locvps は、ダブル 11 に以下のプロモーションを提供しています: (1) 香港将軍澳データセ...
私が担当している会社のウェブサイトでは以前、「新規ウェブサイトが15日間でBaiduのトップページに...
一見乱雑に見える大量のデータに直面して、情報を抽出して処理し、必要な情報を取得し、その情報を適用して...
Baidu Newsで関連キーワードを検索したところ、Discuz!が最後に市場ブランドに露出されて...
インターネット界のゴッドファーザー、ケビン・ケリーはかつてこう言った。「注目が集まるところに、お金は...
spinservers は、米国労働者の日に向けて特別プロモーションを開始しました。米国ダラスのデー...
ジェムアルトの報告によると、2017年上半期には918件のインターネットセキュリティ侵入が発生し、1...
2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っています王菊は大人...
コンテナを使用すると、アプリケーションをあるコンピューティング環境から別のコンピューティング環境へ簡...