業界のデジタル化とインテリジェント化を推進する中国聯通のビッグデータ技術の優位性が強調される

[51CTO.comからのオリジナル記事] インターネット+、人工知能、クラウドコンピューティングなどの新技術が継続的に出現し成熟するにつれて、ビッグデータはさまざまな業界に深く統合され、さまざまな変化を引き起こしています。検索エンジン サービス、電子商取引、ソーシャル ネットワーク、オンライン オーディオおよびビデオ、地理情報サービスなどのインターネット アプリケーションは、膨大な量のデータを生成しています。企業がこれらの膨大なデータから価値あるデータを発見し、そのデータを標準化、プラットフォーム化、インテリジェント化、製品化し、最終的に企業が正しい意思決定を行えるように支援する方法が、企業におけるビッグデータの実装における鍵であり、難しさとなっています。

「合法性とコンプライアンスを前提に、膨大なデータからデータの応用価値を効率的に抽出することが、ビッグデータ実装の鍵です。データ量が多くても価値を抽出できなければ、負担になってしまいます」と、中国聯通ビッグデータ株式会社のデータサイエンスディレクター、陳波氏は語ります。「実装の観点から、ビッグデータはさまざまな業界と深く統合される必要があると思います。同じデータをさまざまな業界で使用できますが、データから特定の業界に適した応用価値をどのように形成するかは、データの価値次元と業界の応用シナリオに対する非常に深い理解が必要です。」陳波氏は付け加えた。

伝統的な通信事業者の観点から、China Unicom Big Data はビッグデータ分野をどのように深化させていくのでしょうか?通信事業者のビッグデータはどのようにして業界にさらなる力を与えることができるでしょうか? WOT2019グローバル人工知能技術サミットの機会に、陳波氏は51CTO記者との独占インタビューに応じ、オペレーターのビッグデータ応用というテーマについて深く議論した。

[[269313]]

ゲスト紹介<br /> 博士研究員の陳波氏は、中国聯通ビッグデータ株式会社のデータサイエンスチームの責任者です。主にビッグデータ分析とマイニング、機械学習モデリング、人工知能アプリケーションの研究開発を担当しています。陳波は2008年に北京郵電大学を卒業し、博士号を取得しました。工学博士。彼の主な研究分野は機械学習、自然言語処理、情報検索です。卒業後はNEC中国研究所、中国聯通グループ本社技術部に勤務。

アプリケーション基盤を確保するための集中運用・保守管理

通信事業者として、中国聯通は2010年に早くもデータ集中化戦略を提案しました。同社は2012年に、ネットワーク全体にわたるデータの統一された集中的な集約と管理を実現するために、国内のすべての省をカバーする国家データセンターの構築を開始しました。現在、中国聯通ビッグデータ社によって追加される新規データの量は、毎日150TBを超えています。

このような膨大な量のデータを効率的に処理するために、China Unicom Big Data は現在、数千のノードのクラスターを持ち、毎日 10 万件を超える処理タスクを実行しています。これほど大規模なデータクラスターを運用・保守するのは業界でも珍しいことです。中国聯通ビッグデータの場合、直接借りることができる外部の経験はあまりありません。独自に設立された効率的なクラスター運用・保守管理チームに依存して、長期にわたる 24 時間中断のない監視と最適化を実行します。過去 1 年間で、毎日のデータ量が倍増し、クラスター リソースがほとんど拡大していない状況で、クラスター ファイルの断片化、冗長データベース テーブル、RPC タスク管理などの継続的な最適化により、クラスターの全体的なリソース負荷が 30% 近く削減され、上位レベルのビッグ データ アプリケーションに堅固な基本的なコンピューティング パワー保証が提供されます。

同時に、China Unicom Big Data は、完全な合法性とコンプライアンスを第一の前提として、あらゆるデータ事業を遂行しています。非常に厳格な内部セキュリティ管理および監視メカニズムを備えており、「機密データは外部に持ち出さない」という原則を順守しています。外部データ製品およびサービスは、地域およびグループの統計分析とモデル処理によって生成されたラベル データに基づいており、データ結果の出力は内部セキュリティ ゲートウェイによって厳密にレビューされる必要があるため、上位レベルのビッグ データ アプリケーションに信頼性の高いセキュリティとコンプライアンスの保証が提供されます。

この過程で、中国聯通ビッグデータは、大規模データクラスターの運用・保守や大量データ資産管理における豊富な実践経験を蓄積し、徐々に運用・保守管理メカニズムの完全なセットをまとめ、形成してきました。 6月上旬のビッグデータ業界サミットでは、「2019 ギャラクシーアワード - *** データ資産管理実践賞」を受賞しました。

デジタルインテリジェンスを構築し、アプリケーションの価値を引き出す

1日あたり数百TB、合計で100PB近くまで増加する膨大なデータ量に直面して、ビッグデータの応用価値をどのように実現すればよいのでしょうか?陳波氏は、「ビッグデータ企業はまず自社のデータの核心価値次元を明確に理解する必要があり、そうすることで自社のデータ能力システムを確立し、データの応用価値を引き出す方法を明確に理解できる」と考えている。中国聯通ビッグデータは、自社のオペレーターのビッグデータに焦点を当て、行動の関心、位置の時系列、関係グラフという3つのビッグデータ価値次元を定義し、それに応じて3つの主要なタイプのデジタルインテリジェンスプラットフォーム機能システムを構築します。その背後では、NLP、検索エンジン、時空間シーケンス、グラフコンピューティングなど、多くの重要なテクノロジーが使用されています。

デジタルインテリジェンスプラットフォームの各機能の構築と応用においては、中国聯通のビッグデータのさまざまなデータアーキテクチャ、データモデル、データアルゴリズムがPBレベルの膨大な量のデータを処理する必要があります。アルゴリズムモデルの精度や有効性だけでなく、大規模データに対する可用性、安定性、運用効率の確保も考慮する必要があります。典型的な例としては、兆レベルのシグナリングビッグデータからの迅速なソートと反復による基地局の位置パラメータの修正が挙げられます。兆レベルの位置時系列データから地域と期間の関連性を準リアルタイムで取得し、オンラインとオフラインの統合された洞察の推奨を実現します。数億枚のカードに対応する兆レベルのシグナリングからグループ集約を発見し、ブラック業界やグレー業界の危険なカードを特定します。数十億の頂点と数百億の関係エッジを持つグラフからN次関連グループを発見し、事業所の特定などを支援します。これらの機能の構築と適用は、データ分析、データモデリング、AIアプリケーションなどの機能を備えた独自のチームを設立した高品質で効率的なデータサイエンスチームに依存しています。

これら3つのカテゴリーのデジタルインテリジェンスプラットフォーム機能を組み合わせることで、広告、リスク管理、インサイト、世論などの上位標準製品や、金融、政府関係、文化観光、公共安全などのさまざまな業界アプリケーションをサポートします。豊富なビッグデータインテリジェント応用事例と実装実績を形成し、「ビッグデータ」から「ビッグバリュー」への変革を実現しました。

業界のアップグレードを可能にする能力とリソースの収集

中国聯通ビッグデータは、強力なデータ接続、運用・保守、ガバナンス、分析、応用、サービス能力を構築し、ビッグデータテクノロジー企業としての急速な発展の原動力となっています。さらに、オープンなコラボレーションを通じて、あらゆる業界のパートナーとともに成長していきたいと考えています。

一方で、当社はクラスターの運用・保守、データガバナンス、モデル構築における長年の運用実践経験を、モデルベース、プロセスベース、製品化されたビッグデータプラットフォーム構築ソリューションとして体系化し、能力出力を実現しています。当社は、政府、電力、銀行、教育、観光、郵便など、さまざまな業界のパートナーが独自のビッグデータ プラットフォームとアプリケーション システムを構築できるよう支援し、業界パートナーがビッグデータ アプリケーション基盤を迅速に構築できるようにしています。

一方、中国聯通ビッグデータは自社のリソースを基に、外部パートナー向けの能力開放プラットフォームを立ち上げ、各パートナーにマルチテナント形式で「コンピューティングパワー+データ+サービス」の感度が低く、安全で、パーソナライズされた開発・トレーニング環境を提供しています。パートナーが開発したモデルとアプリケーションは、セキュリティテスト後に中国聯通デジタルインテリジェンスプラットフォームにパッケージ化して展開することができ、セキュリティゲートウェイを通じて機能出力を形成できるため、業界パートナーは豊富なビッグデータアプリケーション機能を構築できます。

5Gの未来に向けて、デジタルインテリジェンスが成長を促進

今後の発展の方向性について、陳波氏は5G時代が近づいており、今後の接続の成長はもはや個人通信の分野が中心ではなく、モノとモノの接続が中心になるだろうと述べた。接続数は数百億から数千億に達し、関係分野もスマートウェアラブル、スマートホーム、産業監視、自動運転などさまざまな業界や分野に及ぶことになります。今後の5G時代では、ビッグデータはデータ量、時間・空間密度、価値次元の面で量から質への成長変化を経験することになりますが、これは段階的なプロセスとなります。そのため、中国聯通ビッグデータは5Gの発展のペースを綿密に追跡し、各業界の発展動向に注目し、「オープンエコロジー、ウィンウィンの協力」の理念を堅持し、業界パートナーと協力して業界の応用価値を探求し、「ビッグデータ+AI」のデジタルインテリジェンスで将来の業界成長を促進し続けます。

[51CTO オリジナル記事、パートナーサイトに転載する場合は、元の著者とソースを 51CTO.com として明記してください]