クラウドコンピューティング、ビッグデータ、人工知能の関係

今日のスマート業界で最もホットなトピックは、クラウド コンピューティング、ビッグ データ、人工知能です。それらは互いに関連があるようです。一般的に、クラウド コンピューティングについて話すときはビッグ データについて言及し、人工知能について話すときはビッグ データについて言及し、人工知能について話すときはクラウド コンピューティングについて言及します。これらは互いに補完し合い、切り離せないものです。技術者でないと、この3つの関係を理解するのは難しいかもしれないので、説明が必要です。

クラウドコンピューティング、ビッグデータ、人工知能の関係

1. クラウドコンピューティングはもともとリソース管理の柔軟性を実現することを目的としていた

まず、クラウドコンピューティングについてお話しましょう。クラウド コンピューティングの本来の目的は、主にコンピューティング リソース、ネットワーク リソース、ストレージ リソースなどのリソースを管理することです。

1.1 データセンターの管理はコンピュータの設定に似ている

コンピューティング、ネットワーク、ストレージ リソースとは何ですか?ノートパソコンを購入したいとします。どんなCPUが搭載されているか気にしますか?メモリはどれくらいありますか?これら 2 つのものをコンピューティング リソースと呼びます。

このコンピュータがインターネットにアクセスできるようにするには、インターネット ケーブルを接続するインターネット ポート、またはルーターに接続するためのワイヤレス ネットワーク カードが必要です。 100M 帯域幅などのネットワークを開設するには、家庭でも China Unicom、China Mobile、China Telecom などの通信事業者と契約する必要があります。その後、技術者がインターネットケーブルを持ってお客様のご自宅にお伺いします。技術者は、自宅内のすべてのコンピューター、携帯電話、タブレットがルーターを介してインターネットにアクセスできるように、ルーターと会社のネットワーク間の接続を構成するのを手伝ってくれる場合があります。それがインターネットです。

ハードドライブの容量はどれくらいですか? という質問もあるかもしれません。もともと、ハードドライブは 10G など非常に小さいものでした。その後、500G、1T、2T のハード ドライブは目新しいものではなくなりました。 （1Tは1000G）これがストレージです。

これはコンピューターにも当てはまりますが、データセンターにも当てはまります。非常に大きなコンピューター室があり、そこに多数のサーバーが積み上げられていると想像してください。これらのサーバーには CPU、メモリ、ハードディスクも搭載されており、ルーターに似たデバイスを介してインターネットにアクセスします。このときの疑問は、データセンターを運営する人々がこれらのデバイスをどのようにして統一的に管理するかということです。

1.2 柔軟性とは、いつでも好きなときに好きなだけ利用できることを意味します

経営の目標は、2つの側面で柔軟性を実現することです。どの2つの側面ですか?たとえば、CPU が 1 つ、メモリが 1G、ハードディスクが 10G、帯域幅が 1M の非常に小型のコンピューターが必要な場合もあります。彼に渡していただけますか？このような小さな仕様のコンピューターの場合、現在ではどのラップトップでもこれよりも優れた構成になっており、自宅のブロードバンドは少なくとも 100M になります。しかし、クラウド コンピューティング プラットフォームにアクセスすれば、このリソースが必要なときにクリックするだけで入手できます。

したがって、2つの側面で柔軟性を実現できます。

1 つ目は、必要なときにすぐに配達されるなど、いつでも入手できることです。これを時間的柔軟性と呼びます。 2 つ目の特徴は、好きなだけ持つことができることです。たとえば、非常に小さなコンピューターが必要な場合は、それを入手できます。あるいは、非常に大きなスペースが必要な場合、クラウド ディスクを例にとると、クラウド ディスクによって各人に割り当てられるスペースは非常に大きいようです。いつでもアップロードでき、いつでもスペースがあり、使い果たされることはありません。これをスペース柔軟性と呼びます。

空間的な柔軟性と時間的な柔軟性は、クラウド コンピューティングの弾力性とよく呼ばれるものです。

この弾力性の問題を開発し解決するには長い時間がかかりました。

1.3 物理デバイスは柔軟性に欠ける

最初の段階は、物理マシン、つまり物理機器の時代です。この期間中に、顧客がコンピュータを必要とする場合、当社はそれを購入し、データセンターに設置します。物理デバイスは確かにますます強力になっています。たとえば、サーバーには数百 GB のメモリが搭載されていることがよくあります。ネットワーク デバイスの場合、単一ポートの帯域幅は数十 GB または数百 GB になることがあります。たとえば、データセンターのストレージは少なくとも PB レベルです (1 P は 1000 T、1 T は 1000 G)。

ただし、物理デバイスでは大きな柔軟性を実現することはできません。まず第一に、欲しいものをいつでも手に入れることはできません。たとえば、サーバーやコンピューターを購入する場合、必ず調達期間が発生します。突然、あるユーザーがクラウドベンダーにコンピューターを起動したいと伝えました。物理サーバーを使用していた場合、その時点で購入することは困難でした。サプライヤーとの関係が平均的であれば、1 か月かかる可能性があります。サプライヤーとの関係が良好であれば、1週間かかります。ユーザーは 1 週間待った後、ようやくコンピューターが到着し、ログインしてアプリケーションをゆっくりと展開する必要がありますが、その結果、時間の柔軟性が非常に低くなります。 2つ目の問題は、スペースの柔軟性が良くないことです。例えば、上記のユーザーは非常に小さなコンピュータを望んでいますが、現在そのような小さなコンピュータは存在しません。わずか 1 GB のメモリと 80 GB のハード ドライブというユーザーのニーズを満たすためだけに、このような小さなマシンを購入することはできません。でも、大きいものを買ったらどうなるでしょうか？コンピュータが大きいため、ユーザーに請求する料金は高くなります。ユーザーは、このような小さなものしか使用しないと言うので、ユーザーにさらに料金を支払うように要求するのは不公平です。

1.4 仮想化ははるかに柔軟です

誰かが解決策を見つけました。最初の方法は仮想化です。ユーザーに必要なのは、非常に小さなコンピューターだけではないでしょうか?データセンター内の物理的な設備は非常に強力です。物理 CPU、メモリ、ハードディスクの一部を仮想化して顧客に提供したり、また、小さな部分を仮想化して他の顧客に提供したりすることもできます。各顧客は自分の仮想作品のみを見ることができます。実際、各顧客は大きなデバイス全体の小さな部分を使用しています。仮想化テクノロジーにより、さまざまな顧客のコンピューターが分離されているように見えるようになります。このディスクは私のもので、このディスクはあなたのものであると思われるかもしれません。しかし、実際には、私の 10G とあなたの 10G が同じ非常に大きなストレージに保存されている可能性があります。

さらに、物理デバイスが事前に準備されている場合、仮想化ソフトウェアは基本的に数分で非常に迅速にコンピューターを仮想化できます。したがって、任意のクラウド上にコンピューターを作成する場合、かかる時間はわずか数分です。それが理由です。

この空間的柔軟性と時間的柔軟性は基本的に解決されます。

1.5 仮想世界でお金を稼ぎ、感じる

仮想化の段階で最も強力だったのは VMware であり、同社は仮想化テクノロジーを最も早く実装した企業の 1 つでした。コンピューティング、ネットワーク、ストレージの仮想化を実現できます。この会社は非常に強力で、業績も非常に良好でした。同社の仮想化ソフトウェアも非常によく売れ、多額の利益を上げました。その後、同社は EMC (Fortune 500 企業であり、ストレージ製造のトップ企業) に買収されました。

しかし、この世界には、特にプログラマーなど、情熱的な人々がまだたくさんいます。情熱的な人は何をするのが好きですか?オープンソース。この世の多くのソフトウェアはクローズドソースかオープンソースのいずれかであり、ソースとはソースコードのことを指します。つまり、あるソフトウェアはよくできていて、誰もがそれを愛用しているのですが、そのソフトウェアのコードは非公開で、それを知っているのは自分の会社だけなのです。他に誰もそれを知りません。他の人がこのソフトウェアを使いたい場合、私に料金を支払う必要があります。これをクローズドソースと呼びます。しかし、世の中には、すべてのお金がひとつの企業によって稼がれているという事実に耐えられない大物たちが常に存在します。専門家は、あなたがこの技術を持っているなら、私にもできると考えています。あなたが開発できるなら、私にもできます。私は開発費を請求せず、コードを全員と共有します。世界中の誰でも使用でき、誰もがその恩恵を受けることができます。これをオープンソースと呼びます。

例えば、最近のティム・バーナーズ＝リーは非常に感傷的な人です。 2017年、彼は「ワールドワイドウェブ、最初のブラウザ、そしてワールドワイドウェブの拡張を可能にした基本プロトコルとアルゴリズムを発明した」功績により2016年チューリング賞を受賞した。チューリング賞はコンピューター界のノーベル賞です。しかし、彼の最も称賛すべき点は、私たちが一般に www として知っている World Wide Web の技術を、無料で使用できるように世界中に貢献したことです。私たちが今インターネット上で行っていることすべてに対して、彼に感謝すべきです。もし彼がこの技術で金儲けすることができれば、ビル・ゲイツと同じくらい裕福になるだろう。

たとえば、クローズド ソースの世界には Windows があり、Windows を使用するすべての人が Microsoft に料金を支払わなければなりません。一方、オープン ソースの世界には Linux があります。ビル・ゲイツは、WindowsやOfficeなどのクローズドソースソフトウェアで多額の利益を上げ、世界一の富豪と呼ばれました。その後、何人かの大物が別のオペレーティング システム、Linux を開発しました。 Linux について聞いたことがない人も多いかもしれません。バックエンド サーバーで実行されるプログラムの多くは Linux 上で実行されます。たとえば、ダブルイレブンのショッピングをサポートするシステムは、Taobao、JD.com、Koala のいずれであっても、すべて Linux 上で実行されます。

たとえば、Apple があれば、Android もあります。 Apple の市場価値は高いが、Apple システムのコードを見ることはできない。そこで、何人かの専門家が Android 携帯電話のオペレーティング システムを作成しました。 Apple システムはオープンソースではないのに対し、Android システムは誰でも使用できるため、他のほぼすべての携帯電話メーカーが Android システムをインストールしていることがわかります。

仮想化ソフトウェアについても同様です。 VMware の場合、このソフトウェアは非常に高価です。その後、何人かの専門家が 2 つのオープンソース仮想化ソフトウェアを作成しました。1 つは Xen と呼ばれ、もう 1 つは KVM と呼ばれます。技術者でない場合は、これら 2 つの名前を無視できますが、後ほど説明します。

1.6 半自動仮想化と全自動クラウドコンピューティング

仮想化ソフトウェアは柔軟性の問題を解決するように見えますが、これは完全に真実ではありません。仮想化ソフトウェアは一般に仮想コンピュータを作成するため、仮想コンピュータを配置する物理マシンを手動で指定する必要があり、より複雑な手動構成が必要になる場合もあります。したがって、VMware の仮想化ソフトウェアを使用するには、非常に優れた認定を取得する必要があります。この資格を取得できる人の給与は非常に高く、これも複雑さを物語っています。そのため、仮想化ソフトウェアだけで管理できる物理マシンのクラスターの規模はそれほど大きくなく、通常は十数台、数十台、多くても百台程度です。これは時間の柔軟性に影響します。コンピュータを仮想化する時間は非常に短いですが、クラスターの規模が大きくなるにつれて、手動の構成プロセスはますます複雑になり、時間がかかります。一方、空間の柔軟性にも影響を及ぼします。ユーザー数が多い場合、クラスターのサイズはユーザーのニーズを満たすのに十分ではありません。リソースはすぐに使い果たされ、再度購入する必要が生じる可能性があります。したがって、クラスターの規模がどんどん大きくなると、基本的には数千台のマシンから始まり、数万台、さらには数千万台に簡単に達します。 NetEase、Google、AmazonなどBATを調べてみると、サーバーの数が恐ろしいほど多いです。仮想化されたコンピュータを配置する場所を選択し、多数のマシン間で対応する構成を行うことは、ほとんど不可能です。これを実行するには、依然として機械が必要です。

これを実現するためにさまざまなアルゴリズムが発明されており、そのアルゴリズムの名前は Scheduler と呼ばれています。簡単に言えば、スケジューリング センターがあり、何千台ものマシンがプール内にあります。ユーザーが必要とする CPU、メモリ、ハードディスクの仮想コンピューターの数に関係なく、スケジューリング センターは、ユーザーのニーズを満たすことができる大きなプール内の場所を自動的に見つけ、仮想コンピューターを起動して構成し、ユーザーが直接使用できるようにします。この段階をプーリングまたはクラウディングと呼びます。この段階で初めてクラウド コンピューティングと呼ぶことができます。この段階より前では、仮想化としか呼べません。

1.7 プライベートおよびパブリッククラウドコンピューティング

クラウド コンピューティングには、大きく分けてプライベート クラウドとパブリック クラウドの 2 種類があります。プライベートクラウドとパブリッククラウドを結び付けてハイブリッドクラウドと呼ぶ人もいますが、ここではこれについては触れません。プライベート クラウドは、他者のデータ センターに展開される仮想化ソフトウェアとクラウド ソフトウェアのセットです。プライベート クラウドのユーザーは、非常に裕福な人が多いです。彼らは土地を購入し、コンピューター室を建設し、独自のサーバーを購入し、クラウドベンダーにそれらを自社の場所に展開させます。 VMware は仮想化に加えて、後にクラウド コンピューティング製品を立ち上げ、プライベート クラウド市場で大金を稼ぎました。いわゆるパブリック クラウドとは、クラウド ベンダー独自のデータ センターに導入される仮想化およびクラウド ソフトウェアのことです。ユーザーは多額の投資をする必要はありません。アカウントを登録しておけば、Web ページをクリックするだけで仮想コンピュータを作成できます。例えば、Amazon のパブリッククラウドである AWS や、中国の Alibaba Cloud、Tencent Cloud、NetEase Cloud などです。

Amazon はなぜパブリッククラウドを構築したいのでしょうか?アマゾンはかつて海外では比較的大きな電子商取引企業であったことは知られています。電子商取引を行っていたとき、特定の瞬間に皆が急いで買い物をするダブル11のようなシナリオに遭遇することは必然でした。誰もが急いで物を購入しているとき、クラウドの時間と空間の柔軟性が特に必要になります。必ずしもすべてのリソースを準備できるわけではないので、それは無駄になります。しかし、多くのユーザーがダブルイレブンで買い物をしたいのにログインできないのを見て、私たちはただ座って何もできないわけではありません。そのため、ダブルイレブンショッピングフェスティバル中に、電子商取引アプリケーションをサポートするために大量の仮想コンピューターが作成され、ダブルイレブンショッピングフェスティバルの後、これらのリソースは他の用途に解放されます。したがって、Amazon にはクラウド プラットフォームが必要です。

しかし、市販の仮想化ソフトウェアは高価すぎるため、Amazon は電子商取引で得た収益のすべてを仮想化ベンダーに渡すことはできません。その後、Amazon は、前述の Xen や KVM などのオープンソース仮想化テクノロジーをベースにした独自のクラウド ソフトウェアを開発しました。予想外に、Amazon の電子商取引事業はますます成功し、そのクラウド プラットフォームもますます成功しました。さらに、Amazon のクラウド プラットフォームは独自の電子商取引アプリケーションをサポートする必要があり、従来のクラウド コンピューティング ベンダーは独自のアプリケーションをほとんど持たない IT ベンダーがほとんどであるため、Amazon のクラウド プラットフォームはよりアプリケーション フレンドリーであり、急速にクラウド コンピューティングのナンバーワン ブランドに成長し、多額の収益を上げています。 Amazon がクラウド コンピューティング プラットフォームの財務報告を発表する前、人々は Amazon の電子商取引は利益を生んでいるが、クラウドも利益を生むのだろうかと推測していました。その後、財務報告書が公開されると、ただ金を稼いでいるだけではないことが判明した。昨年だけでも、Amazon AWS の年間収益は 122 億ドルに達し、営業利益は 31 億ドルでした。

1.8 クラウドコンピューティングで儲け、実感する

パブリッククラウド企業第1位のAmazonは好調だが、第2位のRackspaceは平均的な業績だ。回避する方法はありません。これは、主に勝者総取りのモデルであるインターネット業界の残酷さです。したがって、2 番目がクラウド コンピューティング業界のものでない場合、多くの人は聞いたことがないかもしれません。 2人目は、ボスに勝てなかったらどうすればいいかと考えました。オープンソースにしましょう。前述のように、Amazon はオープンソースの仮想化技術を使用していますが、クラウド コードはクローズド ソースです。クラウド プラットフォームを構築したいが構築できない多くの企業は、Amazon が大金を稼ぐのを見ているしかありません。 Rackspace がソースコードを公開すると、業界全体が協力してプラットフォームをさらに改善できるようになります。

そこで、Rackspace と NASA は協力してオープンソース ソフトウェア OpenStack を作成しました。この図は OpenStack のアーキテクチャ図を示しています。クラウド コンピューティング業界に属していない人は、この図を理解する必要はありませんが、コンピューティング、ネットワーク、ストレージという 3 つのキーワードが示されています。また、コンピューティング、ネットワーク、ストレージのためのクラウド管理プラットフォームでもあります。

もちろん、2位の技術も非常に優れています。 Rackspace が想像したとおり、OpenStack を導入した後、クラウド コンピューティングを導入したい大企業はすべて熱狂しました。 IBM、HP、Dell、Huawei、Lenovoなど、想像できるすべての有名な大手IT企業が混乱に陥りました。結局、誰もがクラウド プラットフォームを構築したいと考えているのですが、Amazon と VMware がどれだけの収益を上げているかを見ると、彼らにできることは何もありません。自力で構築するのはかなり難しいようです。現在、オープンソースのクラウドプラットフォームである OpenStack により、あらゆる IT ベンダーがコミュニティに参加し、クラウドプラットフォームに貢献し、それを自社製品としてパッケージ化し、自社のハードウェア機器と一緒に販売しています。プライベート クラウドを構築した企業もあれば、パブリック クラウドを構築した企業もあり、OpenStack はオープン ソース クラウド プラットフォームの事実上の標準となっています。

1.9IaaS、リソースレベルでの柔軟性

OpenStack 技術が成熟するにつれて、管理できる規模も大きくなり、複数の OpenStack クラスターを、北京に 1 セット、杭州に 2 セット、広州に 1 セットなど、複数のセットに展開し、統一的に管理できるようになります。これにより、全体の規模がさらに大きくなります。この規模であれば、一般ユーザーの観点からすると、基本的に、欲しい薬を、欲しい時に、欲しいだけ手に入れることができることになります。クラウドディスクを例に挙げてみましょう。各ユーザーのクラウド ディスクには 5T 以上のスペースが割り当てられます。 1億人いたら、どれくらいのスペースになるでしょうか?実際、その背後にあるメカニズムは次のとおりです。スペースが割り当てられると、そのスペースのごく一部しか使用できない場合があります。たとえば、5T が割り当てられている場合、そのような大きなスペースは表示されるだけであり、実際に与えられるものではありません。実際は 50G しか使用していないため、実際に取得できるのは 50G です。ファイルをアップロードし続けると、割り当てられるスペースが増えていきます。全員がアップロードし、クラウド プラットフォームがほぼ満杯 (たとえば、70% が使用されている) であることがわかった場合、追加のサーバーを購入し、その背後にあるリソースを拡張します。これは透明であり、ユーザーには見えません。知覚的な観点から見ると、クラウド コンピューティングの弾力性が実現されます。実際、それは銀行に少し似ています。預金者はいつでもお金を引き出せると感じており、同時取り付け騒ぎが起こらない限り銀行は破綻しない。

ここで簡単にまとめてみましょう。この段階では、クラウド コンピューティングは基本的に時間的柔軟性と空間的柔軟性を実現し、コンピューティング、ネットワーク、およびストレージ リソースの弾力性を実現しています。コンピューティング、ネットワーク、ストレージは、多くの場合、インフラストラクチャと呼ばれます。したがって、この段階での弾力性は、リソースレベルの弾力性と呼ばれます。リソースを管理するクラウド プラットフォームはインフラストラクチャ サービスと呼ばれ、IaaS (Infrastructure As A Service) としてよく耳にします。

2. クラウドコンピューティングはリソースだけでなくアプリケーションも重要です

IaaS では、リソース レベルで弾力性を実現するだけで十分でしょうか?明らかにそうではありません。アプリケーションレベルでも柔軟性があります。例を見てみましょう。電子商取引アプリケーションを実装するには、通常は 10 台のマシンで十分ですが、Double Eleven の場合は 100 台が必要です。これは簡単にできると思うかもしれません。 IaaS を使用すると、90 台の新しいマシンを作成できます。しかし、90 台のマシンは作成時には空であり、電子商取引アプリケーションはインストールされていません。貴社の運用・保守担当者は、それらを一つずつインストールすることしかできず、完了するまでに長い時間がかかります。リソース レベルでは弾力性が実現されますが、アプリケーション レイヤーで弾力性が実現されなければ、柔軟性は依然として不十分です。

この問題を解決する方法はありますか?そのため、リソース上のアプリケーションの弾力性の問題を管理するために、IaaS プラットフォームの上に別のレイヤーが追加されました。このレイヤーは通常、PaaS (Platform As A Service) と呼ばれます。このレイヤーは理解するのが難しいことがよくあります。実際には、大きく分けて 2 つの部分に分かれています。 1 つの部分を、自動的にインストールされる独自のアプリケーションと呼び、もう 1 つの部分を、インストールする必要のないユニバーサル アプリケーションと呼びます。

まず最初の部分、つまり独自のアプリケーションの自動インストールについてお話ししましょう。たとえば、自分で電子商取引アプリケーションを開発する場合、そのインストール方法はあなた以外には誰も知りません。たとえば、電子商取引アプリケーションをインストールする場合は、他のユーザーが電子商取引 Web サイトで商品を購入したときに支払いがアカウントに入金されるように、Alipay または WeChat アカウントを構成する必要があります。あなた以外は誰もそれを知りません。したがって、プラットフォームはインストール プロセスを支援することはできませんが、自動化することはできます。構成情報を自動インストール プロセスに統合するには、いくつかの作業を行う必要があります。たとえば、上記の例では、Double Eleven に新しく作成された 90 台のマシンは空です。これらの 90 台の新しいマシンに電子商取引アプリケーションを自動的にインストールするツールが提供できれば、アプリケーション レベルでの真の弾力性が実現できます。たとえば、Puppet、Chef、Ansible、CloudFoundary はすべてこれを実行できます。最新のコンテナ テクノロジー Docker では、これをより適切に実行できます。テクノロジーに携わっていない人は、これらの言葉を無視することができます。

2 番目の部分では、ユニバーサル アプリケーションをインストールする必要はありません。いわゆる一般アプリケーションとは、一般的に、データベースなど、比較的複雑だが誰もが使用するアプリケーションを指します。ほとんどすべてのアプリケーションはデータベースを使用しますが、データベース ソフトウェアは標準です。インストールとメンテナンスはより複雑になりますが、誰がインストールしても同じです。このようなアプリケーションは、標準の PaaS レイヤー アプリケーションに変換され、クラウド プラットフォーム インターフェイスに配置できます。ユーザーがデータベースを必要とすると、すぐにデータベースが表示され、ユーザーは直接使用できます。誰もが同じ方法でインストールするので、自分でインストールすればよく、クラウド プラットフォームで購入するためにお金を使う必要はない、と誰かが尋ねました。もちろん違います。データベースは非常に難しいものです。 Oracle だけでもデータベースから多額の収益を上げることができます。 Oracle を購入するのにも多額の費用がかかります。ただし、ほとんどのクラウド プラットフォームでは、MySQL などのオープン ソース データベースが提供されています。オープンソースなので、それほどお金をかける必要はありません。ただし、このデータベースを維持するには大規模なチームが必要です。このデータベースを Double Eleven をサポートするように最適化するには、1、2 年以上かかります。たとえば、自転車メーカーの場合、これを行うために非常に大規模なデータベース チームを採用する必要はまったくありません。コストが高すぎます。これを実行するには、クラウド プラットフォームに引き渡す必要があります。プロフェッショナルなものはプロフェッショナルな人々から生まれます。クラウド プラットフォームには、このシステムの保守に専念する何百人ものスタッフがいます。自転車のアプリケーションに集中するだけです。

自動的にデプロイされるか、またはデプロイの必要はありません。一般的に言えば、アプリケーション層についてはあまり心配する必要はありません。これが PaaS 層の重要な役割です。

スクリプト方式では独自のアプリケーションのデプロイメントの問題を解決できますが、環境によって問題は大きく異なります。スクリプトは、ある環境では正しく実行されても、別の環境では正しく実行されない場合があります。

コンテナはこの問題をより適切に解決できます。

Container は Container であり、Container の別の意味は container です。実際、コンテナのアイデアは、ソフトウェア配信用のコンテナに変えることです。コンテナの特徴は、包装と規格です。

コンテナがなかった時代には、A地点からB地点まで貨物を輸送する場合、3つの埠頭を通過し、船を3回乗り換える必要がありました。船から商品を降ろすたびに、商品は乱雑に置かれ、その後船に戻されて再びきれいに並べられます。そのため、コンテナがない場合、乗組員は出航前に船を乗り換えるたびに数日間陸上に留まらなければなりませんでした。

コンテナでは、すべての商品が一緒に梱包され、コンテナのサイズもすべて同じなので、船を変更するたびに、1 つのボックス全体を移動するだけで済み、数時間で完了します。乗組員はもはや上陸して長期間滞在する必要がなくなりました。

容器の持つ2大特性「包装」と「規格」を生活に応用した製品です。

では、コンテナはどのようにしてアプリケーションをパッケージ化するのでしょうか?コンテナについてはまだ学ぶ必要があります。まず、商品を梱包するには、商品同士が干渉せず、隔離された密閉環境が必要であり、これにより積み下ろしが便利になります。幸いなことに、Ubuntu の LXC テクノロジーは長い間これを実現してきました。

閉鎖環境で使用される主なテクノロジーは 2 つあります。 1 つは Namespace と呼ばれる一見分離されたテクノロジで、各 Namespace 内のアプリケーションは異なる IP アドレス、ユーザー スペース、プロセス番号などを参照します。もう 1 つは Cgroups と呼ばれる分離テクノロジで、マシン全体に大量の CPU とメモリがあっても、アプリケーションはその一部しか使用できないことを意味します。

いわゆるミラーリングとは、溶接した瞬間のコンテナの状態を保存することを意味します。孫悟空が「フリーズ」と言ったように、コンテナはその瞬間にフリーズし、その瞬間の状態が一連のファイルとして保存されます。これらのファイルのフォーマットは標準的であり、誰でもそれを見て、その時点で凍結された瞬間を復元することができます。イメージを実行時に復元するプロセス（つまり、イメージファイルを読み込んでその時点の状態に復元するプロセス）がコンテナを実行するプロセスとなります。

コンテナを使用すると、PaaS レイヤーでのユーザー アプリケーションの自動展開が高速かつスムーズになります。

3. ビッグデータがクラウドコンピューティングを採用

PaaS レイヤーの複雑な汎用アプリケーションは、ビッグデータ プラットフォームです。ビッグデータはどのようにして段階的にクラウド コンピューティングに統合されるのでしょうか?

3.1 小さなデータにも知恵が含まれている

当初、ビッグデータはそれほど大きくありませんでした。元々どれくらいのデータがあったか想像できますか?今では誰もが電子書籍を読んだり、インターネットでニュースを探したりしています。 1980年代に私たちが若かった頃は、情報量はそれほど多くありませんでした。私たちはただ本と新聞を読みます。 1週間の新聞には単語がいくつありますか?大都市でなければ、普通の学校の図書館には本棚が全部で数個しかありません。情報化が進み、より多くの情報が登場するようになったのはその後のことでした。

まずはビッグデータの中のデータを見てみましょう。構造化データ、非構造化データ、半構造化データの 3 つのタイプに分けられます。構造化データとは何ですか?固定形式と制限された長さを持つデータです。たとえば、フォームへの入力は構造化データであり、国籍：中華人民共和国、民族：漢族、性別：男性、これらはすべて構造化データと呼ばれます。最近では、Web ページなど、非常に長い場合もあれば、数文だけの場合もある、可変長で固定形式ではない非構造化データが増えています。たとえば、音声やビデオも非構造化データです。半構造化データは XML または HTML の形式です。テクノロジーに携わっていない人はそれを理解できないかもしれませんが、それは問題ではありません。

データは人々にとってどのように役立つのでしょうか?実際、データ自体は有用ではなく、特定の方法で処理する必要があります。例えば、毎日ランニングするときに身につけているブレスレットが収集するデータもデータですし、インターネット上の多くのウェブページもデータです。私たちはそれをデータと呼んでいます。データ自体は何の役にも立ちませんが、そこには情報と呼ばれる非常に重要なものが含まれています。データは非常に乱雑であり、整理され、クリーンアップされた後にのみ情報と呼ぶことができます。情報には多くのルールが含まれており、情報からルールを要約する必要があります。これを知識と呼びます。知識は運命を変える。情報はたくさんありますが、人によっては、その情報を見るのは時間の無駄に過ぎません。しかし、その情報からeコマースの未来を見る人もいれば、ライブストリーミングの未来を見る人もいるので、すごいことになります。情報から知識を引き出さずに、毎日友人の輪をチェックするだけでは、インターネットの波の傍観者でしかありえません。知識を身につけ、それを実際の戦闘に応用すれば、うまくやれる人もいます。これを知性と呼びます。知識を持っていることは必ずしも知恵を持っていることを意味するわけではありません。例えば、多くの学者は知識が豊富で、起こったことをさまざまな角度から分析することができますが、実際の仕事となると無力であり、知識を知恵に変換することができません。多くの起業家が素晴らしいのは、獲得した知識を実践に応用し、最終的に大きなビジネスを築き上げるからです。

したがって、データの応用は、データ、情報、知識、知恵の 4 つのステップに分かれています。これは多くの企業が望んでいることです。ほら、私はたくさんのデータを集めたんです。このデータを活用して次の意思決定を行い、製品を改善することはできますか?たとえば、ユーザーがビデオを視聴しているときに、ユーザーがまさに購入したいと思っている広告がユーザーの隣にポップアップ表示されます。または、ユーザーが音楽を聴いているときに、そのユーザーが本当に聴きたい他の音楽を推奨することもできます。私にとって、アプリやウェブサイト上でのユーザーによるマウスのクリックやテキスト入力はすべてデータです。その中からいくつかを抽出し、実践を指導し、知恵を絞って、ユーザーをアプリに夢中にさせたいと思っています。一度私のアプリにログインすると、ユーザーは離れようとしなくなります。彼らはクリックし続け、購入し続けます。妻がインターネットで買い物をし続けるので、ダブルイレブンの間はインターネットを切断したいと言う人が多いです。 A を購入した後、妻は B を勧めました。妻は「あ、私も B が好き。買いたいわ」と言いました。このプログラムはどうしてこんなに素晴らしくて賢いのでしょうか?それは私よりも妻のことを良く知っています。どうやってこれをやったのですか?

3.2 データを知恵に変える方法

データ処理はいくつかのステップに分かれており、完了して初めて知恵が生まれます。

最初のステップはデータ収集と呼ばれます。まず、データが必要です。データを収集する方法は 2 つあります。最初の方法はそれを手に入れることであり、より専門的には這うまたは掴むと呼ばれます。たとえば、検索エンジンはこれを実行します。インターネット上のすべての情報をデータセンターにダウンロードし、検索できるようになります。たとえば、検索すると、結果はリストになります。なぜこのリストが検索エンジン会社にあるのでしょうか?それは彼らがすべてのデータを入手したからです。ただし、リンクをクリックすると、そのウェブサイトは検索エンジン会社に属しなくなります。たとえば、Sina にニュースがあり、それを Baidu で検索すると、クリックしない限りそのページは Baidu のデータセンターにありますが、クリックすると表示されるページは Sina のデータセンターにあります。もう一つの方法はプッシュです。データ収集に役立つ端末はたくさんあります。たとえば、Xiaomi ブレスレットは、毎日のランニングデータ、心拍数データ、睡眠データをデータセンターにアップロードできます。

2 番目のステップはデータの送信です。これは通常、キュー内で実行されます。これは、データの量が非常に大きいため、データが使用可能になる前に処理する必要があるものの、システムがそれを処理できないため、キューに入れてゆっくりと処理する必要があるためです。

3番目のステップはデータの保存です。今やデータはお金であり、データをマスターすることはお金をマスターすることと同じです。そうでなければ、ウェブサイトはあなたが何を購入したいのかをどうやって知るのでしょうか?それは、過去の取引データが保存されているからです。この情報は他人に提供することはできません。非常に貴重なものなので、保管する必要があります。

4番目のステップはデータの処理と分析です。上記に保存されているデータは生データです。生データはほとんどが整理されておらず、ジャンクデータが大量に含まれています。したがって、高品質のデータを取得するには、データをクリーニングしてフィルタリングする必要があります。高品質なデータの場合は、分析を実行してデータを分類したり、データ間の関係性を発見して知識を得たりすることができます。たとえば、ウォルマート スーパーマーケットのビールとおむつに関する人気の話は、人々の購買データの分析に基づいていました。男性は一般的におむつを買うのと同時にビールも買うことが分かりました。こうしてビールとおむつの関係性が発見され、知見が得られました。これは実際に応用され、ビールカウンターとおむつカウンターを非常に近い場所に設置することで知恵が得られました。

5 番目のステップは、データの取得とマイニングです。検索とは検索することを意味します。外部に関するご質問は、Google にお問い合わせください。国内の事柄について質問がある場合は、Baidu にお問い合わせください。国内外の検索エンジンは分析したデータを検索エンジンに組み込んでおり、人々が情報を探したいときには、たった一度の検索で見つけられるようになっています。もう一つは採掘です。単なる検索だけでは人々のニーズを満たすことはできなくなりました。情報間の関係性を掘り起こすことも必要です。例えば金融検索で、会社の株式を検索する場合、会社の役員も掘り出すべきでしょうか？ある会社の株を検索して、特に上昇していることがわかったので買ってみたものの、実際にはその会社の幹部がその株にとって非常に不利な声明を出し、翌日株価が下落した場合、これは大多数の投資家に損害を与えるのではないでしょうか。したがって、さまざまなアルゴリズムを通じてデータ内の関係性をマイニングし、知識ベースを形成することが非常に重要です。

3.3 ビッグデータの時代では、誰もがより明るい未来に貢献する

データ量が少ない場合、少数のマシンしかそれを処理できません。徐々にデータの量が増え、最も強力なサーバーでも問題を解決できなくなったら、どうすればよいでしょうか?複数のマシンのパワーを集約し、全員が協力して仕事を完了する必要があります。みんなが燃料を補給すれば、火はより明るく燃え上がります。

データ収集に関しては、IoTでは屋外に数千台の検知装置を設置し、温度、湿度、監視、電力などのデータを大量に収集します。インターネットのウェブページの検索エンジンでは、インターネット全体のすべてのウェブページをダウンロードする必要があります。これは明らかに 1 台のマシンでは不可能です。 Web クローラー システムを形成するには複数のマシンが必要です。各マシンは部分をダウンロードし、同時に動作して、限られた時間内に大量の Web ページをダウンロードします。

データ転送に関しては、メモリ内のキューは大量のデータによって確実に圧倒されるため、ハードディスクに基づく分散キューが作成されます。この方法では、キューを複数のマシンから同時に送信できます。データがどれだけ多くても、十分なキューと十分な厚さのパイプラインがあれば、処理できます。

データの保存に関しては、単一のマシンのファイル システムではすべてのデータを保持できないため、複数のマシンのハード ディスクを 1 つの大きなファイル システムに統合する大規模な分散ファイル システムが必要になります。

もう 1 つの例はデータ分析です。データ分析では、大量のデータの分解、統計、集約が必要になる場合があります。 1 台のマシンでは確実に処理できず、分析を完了するには永遠に時間がかかります。そこで、大量のデータを小さな部分に分割し、各マシンが小さな部分を処理する分散コンピューティング方式があります。複数のマシンが並行して処理し、計算を素早く完了できます。たとえば、有名な Terasort は 1 TB のデータ (1000 GB に相当) をソートします。単一のマシンで処理すると数時間かかりますが、並列処理により 209 秒で完了できます。

では、ビッグデータ プラットフォームとは何でしょうか?簡単に言えば、1 台のマシンではタスクを完了できないため、全員が協力して作業することを意味します。データ量が増加するにつれて、多くの中小企業は大量のデータを処理する必要が生じます。それほど多くの機械を持っていない場合、これらの中小企業は何をすべきでしょうか?

3.4 ビッグデータにはクラウドコンピューティングが必要であり、クラウドコンピューティングにはビッグデータが必要である

これといえば、誰もがクラウドコンピューティングを思い浮かべます。これらの作業を実行するには、多数の機械を連携して実行する必要があります。本当に、必要なときに必要な数のマシンを入手できます。たとえば、ビッグデータ企業の財務状況は週に 1 回分析されることがあります。そこに 100 台または 1,000 台のマシンを置いておき、週に 1 回しか使用しないとしたら、それは大きな無駄になります。では、計算が必要なときにこれらの 1,000 台のマシンを取り出し、必要がないときには他の作業に使用することは可能でしょうか?誰がこれをできるでしょうか?クラウド コンピューティングだけが、ビッグ データ コンピューティングにリソース レベルの柔軟性を提供できます。クラウド コンピューティングでは、非常に重要な一般アプリケーションとして、PaaS プラットフォーム上にビッグ データを展開します。ビッグデータプラットフォームは、複数のマシンが連携して一つのものを作ることができるプラットフォームであるため、一般の人が開発できるものではなく、また一般の人が利用できるものでもありません。それを実行するには数十人または数百人を雇う必要があります。したがって、データベースと同様に、これを操作するには専門家のグループが必要です。現在、基本的にすべてのパブリック クラウドにはビッグ データ ソリューションが備わっています。中小企業がビッグデータ プラットフォームを必要とする場合、1,000 台のマシンを購入する必要はありません。パブリック クラウドに移行するだけで、ビッグ データ プラットフォームがすでに導入されている 1,000 台のマシンが表示されます。必要なのはデータを入力して計算することだけです。

クラウド コンピューティングにはビッグ データが必要であり、ビッグ データにはクラウド コンピューティングが必要であり、この 2 つが結びついたのです。

4. 人工知能がビッグデータを活用する

4.1 機械が人間の心を理解できるようになるのはいつでしょうか?

ビッグデータがあっても、人間の欲求を満たすことは決してできません。ビッグデータプラットフォームには検索エンジンがありますが、検索するだけで欲しいものが見つかります。しかし、自分が欲しいものをどうやって探せばいいのか分からない、表現できない、探しているものが自分の欲しいものではない、といった状況もあります。例えば、音楽ソフトが曲をおすすめしてくれたとしても、その曲は聞いたことがないので、当然曲名もわからず検索もできません。しかし、ソフトウェアが私にそれを推奨し、私はそれが本当に気に入りました。これは検索ではできないことです。人々がこの種のアプリケーションを使用すると、欲しいものを機械内で探すのではなく、機械が私の欲しいものを知っていることに気づくでしょう。この機械は私の友人のように私を本当に理解しており、それは少し人工知能のようなものです。

人々は長い間このことについて考えてきました。当初、人々は、壁があり、その壁の後ろに機械があり、それに話しかけると機械が応答するだろうと想像していました。向こう側にいるのが人間なのか機械なのかが分からないとしたら、それは本当に人工知能の産物でしょう。

4.2 機械に推論を学習させる

これを実現するにはどうすればよいでしょうか?人々は考えました。まずコンピューターに人間の推論能力について教えなければならない。ほら、人間にとって何が大切なのか？人間と動物の違いは何でしょうか？それは推論する能力です。私が自分の推論能力について機械に伝えると、機械はあなたの質問に基づいて対応する答えを推測することができます。それは素晴らしいことです。実際、人々は徐々に、数式の証明など、ある程度の推論を機械に実行させるようになっています。機械が実際に数式を証明できるというのは、非常に驚​​くべきプロセスです。しかし、徐々に私たちはこの結果がそれほど驚くべきことではないことに気付きました。なぜなら、私たちは問題を発見したからです。数式は非常に厳密であり、推論プロセスも非常に厳密であり、数式は機械を使用して表現するのが簡単で、プログラムも比較的簡単に表現できるのです。しかし、人間の言語はそれほど単純ではありません。たとえば、今夜あなたは彼女とデートしていて、彼女がこう言ったとします。「あなたが早く来て、私が来なかったら、待っててね。」私が早く来てあなたが来なかったら、待ってください。この機械は比較的理解しにくいですが、人々は理解しているので、彼女とデートに行くときは、決して遅刻しないでください。

4.3 機械に知識を教える

したがって、機械に厳密な推論を伝えるだけでは十分ではなく、機械に何らかの知識を伝えることも必要です。しかし、知識に関しては、普通の人にはできないかもしれませんが、言語や金融の分野の専門家など、専門家ならできます。言語や金融の分野の知識は、数式のようにもう少し厳密な方法で表現できるのでしょうか?たとえば、言語の専門家は、主語、述語、目的語、形容詞、副詞、補語などの文法規則を要約することがあります。主語の後には述語が続き、述語の後には目的語が続きます。これらを要約して厳密に表現すれば十分ではないでしょうか？後に、これは不可能であることが判明しました。言語表現は常に変化するため、要約するのは非常に困難でした。主語、述語、目的語の例を見てみましょう。多くの場合、話し言葉では述語は省略されます。誰かが尋ねます: あなたは誰ですか?私は答えます。「私は劉超です。」ただし、音声意味認識中に、機械に対して標準的な書き言葉で話すことを要求することはできません。これはまだ十分スマートではありません。羅永浩氏が演説で述べたように、電話に向かって毎回「誰それに電話してください」と書き言葉で言うのは非常に恥ずかしいことだ。

人工知能のこの段階はエキスパートシステムと呼ばれます。エキスパートシステムが成功するのは容易ではありません。一方で、知識を要約することは困難であり、他方では、要約された知識をコンピュータに教えることは困難です。あなた自身はまだ混乱していて、パターンがあると感じているようですが、それを言葉で表現することができません。プログラミングを通じてそれをコンピューターに教えるにはどうすればよいのでしょうか?

4.4 脳の働きをシミュレートする

そこで人間は、機械の世界の観点から人間の世界がどのように機能するかについて考え始めました。

人間の脳は、大量のルールを保存したり、大量の統計データを記録したりすることはできません。代わりに、それはニューロンの刺激を通じて達成されます。各ニューロンには他のニューロンからの入力があります。入力を受け取ると、他のニューロンを刺激する出力が生成されます。その結果、多数のニューロンが互いに反応し、最終的にさまざまな出力結果が形成されます。たとえば、美しい女性を見たときに人の瞳孔が広がるのは、脳が体型に基づいて規則的な判断を下しているからでも、人生で見たすべての美人を数えているからでもありません。むしろ、それはニューロンが網膜から脳へ、そして再び瞳孔へと刺激されるからです。このプロセスでは、各ニューロンが最終結果でどのような役割を果たすかをまとめるのは実際には困難ですが、いずれにしても役割を果たします。

そこで人々はニューロンをシミュレートするために数学的な単位を使い始めた

このニューロンには入力と出力があります。入力と出力は数式で表されます。入力は、その重要度（重み）に応じて出力に影響を与えます。

つまり、n 個のニューロンがニューラル ネットワークのように相互に接続されます。数値 n は非常に大きくなる可能性があります。すべてのニューロンは多数の列に分割でき、各列には多数のニューロンが配置されます。入力に対する各ニューロンの重みは異なる可能性があるため、各ニューロンの式も異なります。人々がこのネットワークに何かを入力するとき、人間にとって正しい結果が出力されることを期待します。たとえば、上記の例では、単語 2 を含む画像を入力し、出力リストの 2 番目の数字が最大になります。実際、機械の観点から見ると、入力された画像に 2 が書かれていることはわかりませんし、出力される一連の数字の意味もわかりません。人々が意味を理解している限り、それは問題ではありません。ニューロンの場合と同様に、網膜が美しい女性を見ていることも、はっきりと見えるように瞳孔が拡張していることも知りません。とにかく、美しい女性を見ると瞳孔が開き、それで十分です。

どのニューラル ネットワークでも、入力が 2 の場合、出力が必ず 2 番目に大きい数値になるという保証はありません。この結果を確実に得るには、トレーニングと学習が必要です。結局のところ、美しい女性を見たときに瞳孔が広がるのは、長年にわたる人類の進化の結果なのです。学習プロセスは、大量の写真を入力し、結果が期待どおりでない場合は調整することです。調整方法は、各ニューロンの重みをターゲットに向けて微調整することです。ニューロンと重みが多すぎるため、ネットワーク全体によって生成される結果がこれかあれのいずれかになる可能性は低くなります。むしろ、結果に向けて少しずつ改善し、最終的には目標の結果に到達します。もちろん、これらの調整戦略は依然として非常に熟練しており、アルゴリズムの専門家が慎重に調整する必要があります。人間が美しい女性を見たとき、最初は瞳孔が十分に開いてはっきり見えないので、美しい女性は他の誰かと逃げてしまうのと同じです。次の学習の結果、鼻孔ではなく瞳孔が少し拡張することになります。

4.5 意味が分からないが、実行できる

それほど合理的ではないように思えるが、実行可能である。それはとてもわがままなことだ。

ニューラル ネットワークの普遍定理は、次のように述べています。誰かが複雑で奇妙な関数 f(x) を与えたとします。

この関数が何であっても、あらゆる可能な入力 x を与えることができるニューラル ネットワークが存在することが常に保証され、その値 f(x) (または正確な近似値) がニューラル ネットワークの出力になります。

関数が法則を表す場合、その法則がどんなに奇妙で理解しがたいものであっても、多数のニューロンと多数の重みの調整によって表現できることを意味します。

4.6 人工知能の経済的説明

経済学を思い出して理解しやすくなりました。

私たちは、それぞれのニューロンを社会の中で経済活動に従事する個人として捉えています。したがって、ニューラルネットワークは経済社会全体に相当します。各ニューロンは社会的入力に応じて重みを調整し、対応する出力を生成します。例えば、賃金が上がり、野菜の価格が上がり、株価が下がった場合、私は何をすべきか、どのようにお金を使うべきでしょうか?ここにはパターンはないのでしょうか？もちろんあります。でも、それは一体何でしょうか？はっきり言うのは難しいですね。

エキスパートシステムに基づく経済は計画経済に属します。経済法則全体の表現は、各経済人の独立した意思決定を通じて表現されるのではなく、むしろ専門家の高いレベルのビジョンと先見性を通じて要約されることを望んでいます。専門家でも、どの都市のどの通りに甘い豆腐プリンを売っている店がないかは決して分からないだろう。そのため、鉄鋼や饅頭をどれくらい生産すべきかという専門家の提案は、人々の生活の実際のニーズとはかけ離れていることが多いのです。たとえ全体の計画が何百ページにもわたって書かれていたとしても、人々の生活に潜む小さなルールを表現することはできません。

統計に基づくマクロ経済管理の方がはるかに信頼性が高い。統計局は毎年、社会全体の雇用率、インフレ率、GDPなどの指標に関する統計をまとめます。これらの指標は、多くの場合、多くの内部法則を表します。正確に表現することはできませんが、比較的信頼性があります。しかし、統計法則の要約や表現は比較的大まかです。たとえば、経済学者はこれらの統計データを調べて、住宅価格が長期的に上昇するか下落するか、株価が長期的に上昇するか下落するかを結論付けることができます。経済全体が上昇していれば、住宅価格と株価はともに上昇するはずです。しかし、統計データに基づいて、株価や価格の小さな変動のパターンをまとめることは不可能です。

ニューラルネットワークに基づくミクロ経済学は、経済法則全体を最も正確に表現したものです。誰もが社会からの入力に対して独自の調整を行い、その調整は入力として社会にフィードバックされます。株式市場の微妙な変動を想像してみてください。これは、各独立した個人が継続的に取引した結果であり、従うべき統一されたパターンはありません。各人は社会全体からの意見に基づいて独立した意思決定を行います。特定の要素が複数回トレーニングされると、マクロ経済学で見られるようなマクロ統計法則が形成されます。たとえば、大量の通貨が発行されるたびに、住宅価格は最終的に上昇します。繰り返し訓練すれば、人はそれを習得するでしょう。

4.7 人工知能にはビッグデータが必要

ただし、ニューラル ネットワークには非常に多くのノードが含まれており、各ノードには多くのパラメーターが含まれています。パラメータの総数が多すぎるため、必要な計算量が多くなりすぎます。しかし、それは問題ではありません。当社には、複数のマシンのパワーを集めて計算し、限られた時間内に目的の結果を得ることができるビッグデータ プラットフォームがあります。

人工知能は、スパム、ポルノ、暴力的なテキストや画像などを識別するなど、多くのことを行うことができます。これも3つの段階を経ました。最初の段階では、キーワードのブラックリストとホワイトリスト、およびフィルタリング技術を利用して、ポルノや暴力的な単語を識別します。インターネット言語がますます一般的になるにつれて、言葉は絶えず変化しており、この語彙の絶え間ない更新に追いつくのは少し困難です。第 2 段階では、ベイズ フィルタリングなどのいくつかの新しいアルゴリズムに基づいています。ベイズアルゴリズムが何であるかを知る必要はありませんが、この名前は聞いたことがあるはずです。これは確率ベースのアルゴリズムです。第3段階は、ビッグデータと人工知能に基づいて、より正確なユーザープロファイリング、テキスト理解、画像理解を行うことです。

AI アルゴリズムは主に大量のデータに依存するため、特定の分野 (電子商取引、電子メールなど) では、このデータを長期間にわたって蓄積する必要があることがよくあります。データがなければ、AI アルゴリズムは、たとえデータがあっても役に立ちません。そのため、これまでのIaaSやPaaSのように、特定の顧客向けにAIプログラムを導入することはほとんどありません。特定の顧客だけを対象にセットをインストールすると、その顧客にはトレーニング用の関連データがないため、結果が非​​常に悪くなることが多いからです。ただし、クラウド コンピューティング ベンダーは大量のデータを蓄積することが多いため、サービス インターフェイスを公開するために、一連のデータがクラウド コンピューティング ベンダーにインストールされます。たとえば、テキストにポルノや暴力が含まれているかどうかを識別したい場合は、このオンライン サービスを直接使用できます。このタイプのサービスは、クラウド コンピューティングでは Software as a Service (SaaS) と呼ばれます。

その結果、人工知能プログラムは SaaS プラットフォームとしてクラウド コンピューティングに参入しました。

最終的に、クラウド コンピューティングの三兄弟、つまり IaaS、PaaS、SaaS が統合され、一般的にクラウド コンピューティング プラットフォームには、クラウド、ビッグ データ、人工知能が存在します。大量のデータを蓄積しているビッグデータ企業も、いくつかのサービスを提供するために人工知能アルゴリズムを使用するでしょう。人工知能企業にとって、ビッグデータ プラットフォームのサポートなしでは不可能です。このようにクラウド コンピューティング、ビッグ データ、人工知能が統合され、私たちは出会い、知り合い、そしてお互いを知ることができるようになります。