Amazon Web Services: デジタルインテリジェンスの統合による企業イノベーションの推進

デジタル変革は何千もの業界にとって避けられない発展の潮流であり、すべての業界のプロセス全体とすべてのリンクに全面的に浸透する時期に入りました。ビッグデータと人工知能の深い統合、つまりデジタルインテリジェンス統合は、企業のデジタル変革のプロセスにおいて最も中核かつ重要な能力となっています。

名前が示すように、デジタルとインテリジェンスの統合の重要な要素は、ビッグデータ技術と機械学習技術です。ビッグデータ テクノロジーによって提供される機能は、機械学習モデリングに必要な基盤です。同時に、機械学習はビッグデータ技術に高度なインテリジェンスを提供し、ビジネス運営に価値を生み出すこともできます。したがって、ユーザーロジックの観点から見ると、ビッグデータ技術と機械学習技術は因果関係にあります。

多くの企業は、デジタル インテリジェンス統合を利用して企業のイノベーションを加速するプロセスにおいて、一連の課題に直面しています。 Amazon Web Services は、エンタープライズ サービスにおける長年の経験に基づいて、これらの課題を次の 3 つのポイントにまとめています。

まず、データと機械学習が分割され、管理されており、データとテクノロジーのサイロによってアジャイルな反復が制限されています。

第二に、データ処理能力が不十分です。製造企業では、機械学習によって顧客が製品のアフターサービス ニーズを予測し、受動的な対応から能動的な計画へと移行するのに役立ちます。しかし、ビッグデータ処理能力が不十分なため、モデルの開発に成功した後でも、大量の運用データを効果的に収集・処理することができず、予測が不正確になり、期待したビジネス目標を達成できなくなります。

3 番目に、データアナリストの参加率が低いです。現実には、モデルは実験段階ではうまく機能しますが、実際の使用では不十分であることがよくあります。実験環境は実際の環境の単純なシミュレーションに過ぎず、実稼働環境ははるかに複雑です。

上記の課題に対応するため、Amazon Web Services は、企業がクラウド内に統合されたデータ インフラストラクチャを構築し、ビッグデータと機械学習の二重の利点を実現し、企業の発展に新たな推進力を与える必要があると考えています。具体的には、企業はまず、データ品質、データ権限、データ開発、データワークフロー、視覚化などの統一された統合ガバナンス基盤を確立する必要があります。第二に、ビッグデータと機械学習の間には、効率的かつ十分な双方向の相互作用があり、それらが相互にサポートし合い、因果関係を持ち、好循環を形成する必要があります。

デジタルとインテリジェントの統合を実現するために必要な3つのコア機能

デジタルとインテリジェントの統合を実現するために、企業はいくつかのコア機能を構築する必要があります。 Amazon Web Services Greater Chinaの製品部門ゼネラルマネージャーであるChen Xiaojian氏は、それを3つのポイントにまとめました。

陳暁建、アマゾン ウェブ サービス グレーター チャイナ、製品部門ゼネラル マネージャー

最初のステップは、データ共有を統一し、データを資産に変換し、データ サイロを解体することです。適切かつ合理的なビッグデータと機械学習の統合アーキテクチャには、データ品質、権限、開発、視覚化を含む、統一された統合データベースの確立が必要です。その中でも、ビッグデータと機械学習は孤立した技術ではありません。両者の間で効率的かつ完全な双方向の相互作用を実現することによってのみ、双方向サイクルが形成され、データ融合が真に実現されます。この目標を達成するには、次の 3 つのことを適切に行う必要があります。まず、ビッグデータと AI が同じベースに対して同じことを繰り返し実行して複雑さを増大させ、リソース コストを無駄にしないように、統一された統合ガバナンス ベースを構築します。 2 つ目は、異なるシステム間でデータをやり取りできるように、統一されたデータ収集標準、統一されたデータ保存標準、および品質測定標準を確立することです。完全かつきめ細かな権限制御を実装せずにデータを接続するだけでは、開発チームは異なるビジネス システム間でデータが自由に流れることを確信できません。 3 つ目は、統合された開発とプロセスのオーケストレーションです。ユーザーの観点から見ると、ビジネスでの使用においては、データ収集の瞬間から最終的なアルゴリズムの実装まで、エンドツーエンドの開発プロセス オーケストレーションが統一されている必要があります。

2 番目に、機械学習向けの運用レベルのデータ処理機能を提供します。アルゴリズムを実験から実践へと移行させるには、データ処理能力が最も重要なステップとなります。なぜなら、膨大なデータ処理能力があって初めて、アルゴリズムをビジネスに使用できる実稼働レベルのアルゴリズムに真に磨き上げることができるからです。このような機能を実現するには、まず「オープン」であることが必要です。なぜなら、現実の世界では、ほとんどのデータは異種かつ多様だからです。基盤となるビッグデータ プラットフォームは、これらの多様で異種のデータを処理できる必要があるため、オープン エンジンが不可欠です。第二に、膨大な量のデータを処理できるだけでなく、ビジネス負荷に応じて基盤となるリソースを柔軟に縮小し、生産ニーズを満たすことができる柔軟なプラットフォームも必要です。これがいわゆるクラウド弾力性です。 3 つ目は、データ品質を最適化する必要があることです。アルゴリズム自体を最適化するだけでなく、ビッグデータ技術を使用してデータを収集、クリーンアップ、クエリし、機械学習用の高品質なデータソースを提供することも必要です。

3つ目は、インテリジェントなデータ分析を通じてテクノロジーとビジネスの価値を統合できることです。これは、R&Dとビジネスが別々のものではなく、協力関係にあることを意味します。 AI 機械学習はインテリジェント分析のシナリオを充実させ、AI と機械学習を通じてデータの価値をより有効に活用することができます。例えば、インターネットユーザー推薦システムのユーザーポートレートは、ビジネス用途向けに機械学習により、元のビジネスデータからユーザーのラベルやポートレートを抽出できます。多くの企業では、ビジネス担当者（ユーザー）がアルゴリズムの開発に真に影響を与えることが難しいのが現状です。ビジネス担当者が普段使用している視覚化ツールを通じてアルゴリズムの機能を簡単に呼び出し、データを通じてアルゴリズムの有効性を逆にテストできるようにすると、インテリジェントなデータ分析の効率が大幅に向上します。さらに、システムの能力が強力になれば、業務担当者がアルゴリズムを理解しておらず、コードを書くことができない場合でも、データとニーズがあれば、研究開発ではなく自らアルゴリズムをトレーニングできるため、より効率的になります。

Amazon Web Services の「クラウド、データ、インテリジェンスの三位一体」デジタルとインテリジェンスの融合サービス

上記の課題に対処するため、Amazon Web Services は「クラウド、データ、インテリジェンス」を統合したデジタル・インテリジェント統合サービスを開始し、世界中の何十万人ものユーザーがビッグデータと AI 技術を活用してビジネスを展開できるよう支援しています。

まず、Amazon Web Services は、ビッグデータと機械学習のデータ共有、データ権限の統合管理と制御、そして両者の統合開発とプロセスオーケストレーションを実現するための統合データガバナンス基盤の構築をお客様を支援します。 Amazon Lake Formation は多くの新機能を導入し、データグリッドでの部門間のデータ資産共有と、最もきめ細かいセルベースの権限制御メカニズムを可能にしました。 Amazon SageMaker Studio を使用すると、データ開発、モデル開発、および関連する制作タスクをワンストップで完了できます。このサービスは、インタラクティブクエリサービス Amazon Athena、クラウドビッグデータプラットフォーム Amazon Elastic MapReduce (Amazon EMR)、クラウドデータウェアハウスサービス Amazon Redshift、Amazon SageMaker など、特別に構築されたさまざまなサービスに基づいており、ビッグデータと機械学習のための統合開発プラットフォームを提供します。

第二に、機械学習プロジェクトの成功の鍵は、複雑なデータの処理と準備です。 Amazon Athena は、Amazon EMR、高性能リレーショナルデータベース Amazon Aurora、NoSQL データベースサービス Amazon DynamoDB、Amazon Redshift などのデータソースを含む複数のオープンソースフレームワークをサポートするビッグデータプラットフォームでフェデレーテッドクエリを実行し、機械学習モデリングのデータ処理を迅速に完了できます。 Amazon Redshift、Amazon Managed Streaming for Apache Kafka (Amazon MSK)、Amazon EMR に代表されるサーバーレス分析機能により、お客様は基盤となるインフラストラクチャを構成、スケーリング、管理することなく、あらゆる規模のデータを簡単に処理でき、機械学習プロジェクト向けにパフォーマンスとコスト効率の両方に優れた特徴データ準備を実現できます。

3 つ目は、Amazon Web Services はよりインテリジェントなデータ分析サービスを継続的に提供し、ビジネス担当者がインテリジェントな分析、モデルの有効性の検証、自律的なイノベーションを実施できるようにします。たとえば、機械学習の Amazon SageMaker モデル予測機能を深く統合した Amazon QuickSight などの日常的な分析ツールに機械学習のモデル予測機能を統合し、モデル予測に基づく Amazon Athena ML を分析結果に追加することで、ユーザーは使い慣れたテクノロジーを使用し、自然言語を通じて機械学習を利用することさえできるようになります。 Amazon Web Services では、Amazon Redshift ML、ビジュアルデータ準備ツール Amazon Glue DataBrew、ゼロコード機械学習モデルツール Amazon SageMaker Canvas などのサービスも提供しており、ビジネス担当者が機械学習モデリングを探求できるようにしています。

アマゾンウェブサービス大中華圏製品部門技術専門家チームのディレクターである王暁野氏は、機械学習とビッグデータの統合はテクノロジーだけで解決できる問題ではないと述べた。また、Amazon Web Services は、迅速なアルゴリズムのプロトタイピングを行うデータラボの応用科学者、実稼働精度のモデルトレーニングガイダンスを行う機械学習ソリューションラボ、エンドツーエンドのコンサルティングと配信を提供するプロフェッショナルサービスチームを通じて、「人々に魚の釣り方を教える」という原則を遵守しています。当社は、さまざまな分業分野の専門家を通じてお客様と緊密に連携し、機械学習とビッグデータの統合における課題の解決を支援し、データ主導の変革を成功に導いた優れた企業の貴重な経験から学びます。