春節祝賀紅包の「絹のように滑らかな」体験の背後には、百度の技術がどれほど強力であるのか？

今日、プログラマーの一団がいつものように西二旗地下鉄に乗っていたが、違いは、彼らが向かった先が、有名人たちが経験を語り合い、たくさんの現金が手に入る「テクノロジーの饗宴」だったことだ。 4月4日、「春節紅包の背後にある技術を公開」をテーマにした第7回百度テクノロジーオープンデーが開催されました。昨年同様、オープンデーは非常に人気があり、インテル、IBM、清華大学、北京航空航天大学、北京理工大学、その他の産学研究応用機関から専門家、学者、技術愛好家が集まりました。 500人以上が集まった会場は満員で、通路も人でいっぱいでした。

[[261534]]

百度の上級副社長兼AI技術プラットフォームシステム（AIG）および基礎技術システム（TG）のゼネラルマネージャー、王海鋒氏

春節紅包プロジェクトは百度にとって大きな試練であり、その背後には強力な技術の蓄積がある。現場では、百度の高級副社長でAI技術プラットフォームシステム（AIG）と基礎技術システム（TG）の総経理を務める王海鋒氏が挨拶で「春節紅包プロジェクトの成功は、百度の総合的な技術力、長年にわたるクラウドコンピューティング、ビッグデータ、人工知能などの分野での技術の蓄積、そして春節前の1か月以上にわたる皆様の共同の努力の成果です。技術力を蓄積・向上させる一方で、百度は技術のプラットフォーム化にも力を入れています。当社のすべての技術は、特定の製品のビジネスニーズを満たすだけでなく、プラットフォーム化をより良くする必要があります。基礎技術システムとAI技術プラットフォームシステムを統合し、AI時代の百度の技術プラットフォームを構築し、技術プラットフォームのプラットフォーム化能力を強化します。このようにして、百度の技術は、より柔軟かつ効率的に百度自身のビジネスにサービスを提供することができます。」と述べた。同時に、私たちはこれらの技術を社会のあらゆる分野、特にパートナー、開発者の友人、学界と共有したいと考えています。私たちは力を合わせて、技術の進歩と社会の進歩を促進していきます。」

技術共有セッションでは、侯振宇氏が先頭に立って聴衆に、春節晩餐会プロジェクト全体が中断されないようにするための技術的な「トップレベルの設計」を詳細に説明した。彼は、時間不足、技術難度、シナリオ複雑、要求度の高さという4つの大きな課題にもかかわらず、百度春節祝賀会の紅包取りセッションが順調に進行したのは、百度がシステム全体とリンク全体を最適化した設計を行い、優れた技術蓄積を守り、大規模なエンジニアリング能力を保証したためだと指摘した。

百度副社長、侯振宇氏

百度の技術委員会委員長である陳尚宜氏は、テクノロジーオープンデーは2012年に始まり、百度とそのパートナー、開発者、学術・産業研究機関とのコミュニケーションプラットフォームであると述べた。

[[261535]]
百度技術委員会委員長 陳尚宜

システム全体とリンク全体の最適化された設計：全体的なアーキテクチャ設計と最適化、統合されたフロントエンドアクセスの最適化、および極端な同時データベース最適化

春節祭の極端な同時実行シナリオは、最高レベルの技術能力のテストです。春節祝典のライブ放送中、数億人のユーザーがインタラクションに参加し、1秒あたり数千万の同時リクエストが発生し、百度の春節祝典紅包インタラクションに参加した世界中の視聴者数は208億人に達した。これを踏まえ、百度は今回の春節紅包プロジェクトのアーキテクチャ設計において、大規模操作を小規模操作に減らし、分離、弾力性、インテリジェンス、ダイナミクス、自己修復といった設計理念を採用し、総コストを効率的にコントロールしました。

[[261536]]

アーキテクチャ設計の面では、Baidu の建築家とエンジニアは、全体のシステムを 4 つの主要なビジネス システムと多数のインフラストラクチャとサービスに分解しました。視聴者の参加の質を向上させるために、Baidu はいくつかのターゲットを絞った最適化プランを提案しました。春節祝賀会紅包セッションでは、観客はシェイク、情報流、ビデオ、音声、検索などさまざまな形式で参加できます。

これらの基本的なアーキテクチャ設計と最適化に加えて、フロントエンドのアクセス最適化、セキュリティと攻撃防止機能、リソース調整と動的スケジューリング機能、フルリンクストレステストと攻撃と防御、内部テスト、計画とスクリプト、その他の主要なテクノロジーとソリューションも統合されており、春節祝賀会の「絹のようにスムーズな」紅包振体験を保証します。

BFE（Baidu Unified Front End）は、Baidu の統合された 7 層トラフィック転送プラットフォームであると報告されています。春節祭紅封筒プロジェクトでは、BFE は IDC トラフィックの統合された入口として、トラフィック スケジューリング、アクセス転送、フロー制限、アプリケーション層ファイアウォールなどの機能を提供します。 1日あたりの転送リクエスト数は1兆件に近づいています。 BFE の迅速な開発機能に基づいて、一部のビジネス ロジックを BFE に移動することで、システム全体のオーバーヘッドを削減できます。同時に、自社開発の専用ストリーミングコンピューティングシステムに基づいて、リアルタイムレポート機能を提供し、数十億レベルのトラフィックにおけるシステムステータスに関するリアルタイムのフィードバックを提供できます。

春節祝賀行事では、データベース サービスはビジネス チェーンの最下部にあり、非常に重要なタスクを担っているため、その安定性、信頼性、同時実行機能にはより高い要件と要求が課せられます。 Baidu DBA は 10 年以上にわたって探求と経験を積み重ね、完全なデータベース技術システムとソリューションを形成してきました。このシステムは、建築の面で春節祭プロジェクトのビジネスニーズに完全に適合しています。セットアップなどの主要な技術ソリューションを通じて、透明性と柔軟性のあるビジネス拡張と障害最小化分離機能を実現します。トラフィック制御の面では、トラフィックプロファイリング機能をベースに、セキュリティ検出および傍受機能、多次元および多レベルのフロー制御機能を組み合わせることで、サービス全体の過負荷保護およびセキュリティ保護機能を実現し、サービス全体の可用性とデータのセキュリティを効果的に確保し、数千万のデータベースQPS処理能力を実現します。最後に、100 近くのスクリプトと自動監視計画措置を組み合わせることで、春節祭データベース サービスの保証機能がさらに強化され、春節祭の活動がスムーズに進行するのに役立ちます。

優れた技術の蓄積によってサポートされています: ハイブリッドサービススケジューリング、柔軟なリソース供給、非常に高速で安定したCDNサービス

春節祭期間中、数億人のユーザーが同時にアプリを起動し、数億人のユーザーが同時に百度クラウドサービスに接続しました。これまでのシンプルなシェイク機能に比べ、今回ユーザーが同時にアクセスするサービスは、検索、レコメンド、音声、動画など複雑なサービスにまで及んだ。 2週間以内に、数万台のサーバーに対するリソースを迅速に準備し、使用計画を策定する必要があります。

技術的なソリューションの点では、Baidu Cloud クラスター内の完全なコロケーションとクラスター フローのサポートを通じて、春節祭のアクティビティのリソース ニーズを満たすことに重点が置かれています。コロケーション スケジューリングとは、適切なリソースを選択し、適切なタスクを展開し、安全な分離とサービス保護のメカニズムを実装することを意味します。 Baidu の Spring Festival Gala イベント サービスは、Baidu Cloud 全体のクラスター リソースを柔軟に使用して、コロケーション スケジューリングに BestEffort (BE) モードを採用しています。 BE モードは、本来の通常業務を邪魔にならない形で利用し、春節祝祭サービスの早期入場と迅速かつ便利な退場のニーズを満たし、イベントの複数回のストレス テストと最終的なオンライン効率と品質のテストに合格しました。同時に、春節祭の潜在的な未知の力に万全の準備を整えるために、潜在的な問題シナリオに基づいて第 2 レベルの弾性スケーリング ソリューションを設計しました。

Baidu Cloud のメディア クラウド プラットフォームは、ビデオ/画像データの収集、制作、アップロード、保存、処理、配信、再生をカバーする統合インフラストラクチャ クラウド プラットフォームです。同社は、数兆のファイルと数千ペタバイトのデータを収容する国内最大規模のストレージを保有し、毎日数千万のメディア資産を処理し、数百のノードと50T以上の帯域幅を備えた配信ネットワークと、ワンストップのインテリジェントビデオソリューションを備えています。

[[261537]]

大規模なエンジニアリング機能の保証：効率的なエンジニアリング機能、自動化、セルフサービスストレステストプラットフォーム、フルファクターリンクストレステスト、攻撃と防御

春節祭紅包プロジェクトには、数十の製品とプラットフォーム、110 以上のシナリオ、280 以上の計画、100 を超えるチームの参加、そして何千人もの人々の協力が関わっています。平均すると、毎日 1,000 を超える新しい要件とタスク、および数万の自動テストが発生します。このような大規模な共同開発の課題に直面しながらも、春節紅包プロジェクトは効率的かつ高品質で納品することができました。これは、百度の長期にわたる技術文化とエンジニアリング能力の蓄積、グループ統一のエンジニアリング標準と研究開発仕様、信頼性が高く効率的な開発ツールとコラボレーションプラットフォームと切り離せないものです。同時に、百度は「百度方式+白書」と「百度エンジニアリング能力白書」を発表し、「百度効率クラウド」DevOpsツールプラットフォームを開設して、エンジニアリング能力構築の経験を業界と共有し、共同でエンジニアリング効率の向上を推進しました。

アーキテクチャ設計がいかに優れていても、実際の戦場でテストする必要があり、検証されないままシステムをユーザーに公開することは決して許されません。春節ガラブルースは、春節ガラシステムにあらゆる種類のトラブルを引き起こす責任があるチームです。最初に行うのは、フルファクターおよびフルリンクのストレステストです。これは、実際のユーザーの動作をシミュレートし、春節祭の最大同時実行数を超えるストレスピークを構築し、電源やネットワークなどのインフラストラクチャから上位レベルのソフトウェアアーキテクチャまでのサービス機能を検証するために使用されます。ストレステストの核心は、ポジティブ思考モードを捨て、機械的なカバーと検証を重視し、「絶対に問題を起こさない」リンクを見逃さないことだと報告されています。同時に、春節祭システムの異常への対処能力を検証するために、百度は積極的にランダムな異常を構築しました。 Baidu のアーキテクトは、高可用性アーキテクチャに関する豊富な経験に基づいて、システムの弱点を具体的に選択し、アクティブ攻撃を開始して、システムのアーキテクチャ上の災害復旧機能と緊急コマンド メカニズムを検証します。

百度が多方面の協力を通じて、科学技術の力で春節祭の「戦場」で美しい戦いを繰り広げたことは容易に想像できる。昨年12月、百度は自社のインフラ、グループレベルの共通プラットフォーム、運用・保守を「TG」（基本技術システム）に統合し、中核技術の優位性を集中してAI時代の最先端の技術プラットフォームを構築し、フロントエンドの業務と技術プラットフォームのリソースの効率的な調整と包括的なコラボレーションを実現し、リソースを集中して「大きな戦いと厳しい戦いを戦う」能力を強化すると発表しました。百度の構造調整の成果は、春節祝賀会の舞台で最もよく実証された。

今後も、テクノロジー オープン デーは、あらゆる分野のテクノロジー ファンに最新の技術進歩を提供し続けます。私たちは、Baidu の技術革新を皆様と共有し、共同で技術の進歩を促進していきたいと考えています。