ついにクラウド コンピューティング、ビッグ データ、人工知能をわかりやすく説明してくれる人が現れました。

今日はクラウド コンピューティング、ビッグ データ、人工知能についてお話します。これら 3 つの単語は現在非常に人気があり、互いに関連しているようです。

[[223205]]

一般的に、クラウド コンピューティングについて話すときは、ビッグ データについて言及します。人工知能について話すとき、私たちはビッグデータについて言及します。人工知能について話すとき、クラウド コンピューティングについて言及します...この 3 つは互いに補完し合い、切り離せないものであるように感じます。

しかし、技術者でない人にとっては、この3つの関係性を理解するのは難しいかもしれないので、説明する必要があります。

クラウドコンピューティングの本来の目的

まずはクラウドコンピューティングから始めましょう。クラウド コンピューティングの本来の目的は、主にコンピューティング リソース、ネットワーク リソース、ストレージ リソースなどのリソースを管理することです。

データセンターの管理はコンピュータの設定に似ている

コンピューティング、ネットワーク、ストレージ リソースとは何ですか?

たとえば、ノートパソコンを購入する場合、どのような CPU が搭載されているかを気にする必要がありますか?メモリはどれくらいですか?これら 2 つはコンピューティング リソースと呼ばれます。

このコンピュータがインターネットにアクセスするには、ネットワーク ケーブルを接続するインターネット ポート、または自宅のルーターに接続できるワイヤレス ネットワーク カードが必要です。

100M 帯域幅などのネットワークを開設するには、家庭でも China Unicom、China Mobile、China Telecom などの通信事業者と契約する必要があります。その後、技術者がインターネット ケーブルを持ってお客様のご自宅に伺い、ルーターと会社のインターネット接続間の接続の設定をお手伝いします。

このようにして、自宅内のすべてのコンピューター、携帯電話、タブレットがルーターを介してインターネットにアクセスできるようになります。これはネットワーク リソースです。

ハードドライブの容量はどれくらいですか? という質問もあるかもしれません。かつて、ハードディスクの容量は 10G 程度と非常に小さかったのですが、その後、500G、1T、2T のハードディスクも目新しくなくなりました。 （1Tは1000G）これがストレージリソースです。

これはコンピューターにも当てはまりますが、データセンターにも当てはまります。非常に大きなコンピューター室があり、そこに多数のサーバーが積み上げられていると想像してください。これらのサーバーには CPU、メモリ、ハードディスクも搭載されており、ルーターに似たデバイスを介してインターネットにアクセスします。

現時点での疑問は、データセンターを運営する人々がこれらのデバイスをどのようにして統一的に管理するかということです。

柔軟性とは、必要なときに必要なだけ利用できることを意味します

経営の目標は、2つの側面で柔軟性を実現することです。具体的にはどの2つの側面ですか?

理解するために例を見てみましょう。たとえば、CPU が 1 つ、メモリが 1G、ハードディスクが 10G、帯域幅が 1M の非常に小型のコンピューターが必要な場合を考えてみましょう。彼に渡していただけますか？

このような小さな仕様のコンピュータの場合、現在のどのラップトップもこれよりも強力な構成になっており、自宅のブロードバンドは少なくとも 100M になります。しかし、クラウド コンピューティング プラットフォームにアクセスすれば、このリソースが必要なときにクリックするだけで入手できます。

この場合、次の 2 つの側面で柔軟性を実現できます。

• 時間の柔軟性: いつでも入手でき、必要なときにすぐに利用できます。
• 空間の柔軟性：好きなだけ。非常に小さなスペースでコンピュータが必要な場合、これは満たされます。クラウドディスクなど、特に大きなスペースが必要な場合、クラウドディスクによって各人に割り当てられるスペースは非常に大きいことが多く、いつでもアップロードできるスペースが常に存在し、使い果たされることはなく、これも満たすことができます。

空間的な柔軟性と時間的な柔軟性は、クラウド コンピューティングの弾力性とよく呼ばれるものです。この弾力性の問題を解決するには長い開発期間が必要でした。

物理デバイスは柔軟性に欠ける

最初の段階は物理的な装備期間です。この期間中、顧客がコンピュータを必要とする場合、私たちはそれを購入し、データセンターに設置していました。

もちろん、物理的な装備はどんどん良くなってきています。

• たとえば、サーバーには数百 GB のメモリが搭載されていることがよくあります。
• たとえば、ネットワーク機器の場合、ポートの帯域幅は数十 G または数百 G になることがあります。
• たとえば、データセンターのストレージは少なくとも PB レベルです (1 P は 1000 T、1 T は 1000 G)。

ただし、物理デバイスでは大きな柔軟性は提供できません。

1 つ目は、時間の柔軟性が欠けていることです。欲しいものをいつでも手に入れることはできません。たとえば、サーバーやコンピューターを購入する場合、購入には時間が必要です。

ユーザーが突然、パソコンを立ち上げて物理サーバーを使いたいとクラウドベンダーに伝えても、その時点では購入するのは難しいでしょう。仕入先との関係が良好であれば、購入までに 1 週​​間かかることもありますが、仕入先との関係が平均的な場合は、購入までに 1 か月かかることもあります。

ユーザーはコンピュータが到着するまで長い間待機し、その後ログインして自分のアプリケーションの展開をゆっくりと開始する必要がありました。時間の柔軟性が非常に低い。

第二に、空間的な柔軟性も良くありません。たとえば、上記のユーザーは非常に小型のコンピューターを必要としていますが、現在そのような小型のコンピューターはどこで入手できるでしょうか? 1G のメモリと 80G のハードドライブというユーザーのニーズを満たすためだけに、このような小さなマシンを購入することはできません。

しかし、大きなものを購入すると、コンピューターが大きいためユーザーに追加料金を請求する必要がありますが、ユーザーが必要とするのは小さなコンピューターだけなので、追加料金を支払うのは不公平です。

仮想化ははるかに柔軟です

誰かが解決策を見つけました。最初の方法は仮想化です。ユーザーに必要なのは、非常に小さなコンピューターだけではないでしょうか?

データセンター内の物理的な設備は非常に強力です。物理 CPU、メモリ、ハードディスクの一部を仮想化して顧客に提供したり、また、一部を仮想化して他の顧客に提供したりすることもできます。

各顧客は自分の小さな部分しか見ることができませんが、実際には各顧客は大きなデバイス全体の小さな部分を使用しています。

仮想化テクノロジーにより、異なるクライアントのコンピューターが分離されているように見えます。つまり、私にとってこのディスクは私のものであり、あなたにとってこのディスクはあなたのものであるように見えますが、実際の状況は、私の 10G とあなたの 10G が同じ非常に大きなストレージ上にある可能性があります。

さらに、物理デバイスが事前に準備されている場合、仮想化ソフトウェアは基本的に数分で非常に迅速にコンピューターを仮想化できます。したがって、任意のクラウド上にコンピューターを作成する場合、かかる時間はわずか数分です。それが理由です。

このようにして、空間的な柔軟性と時間的な柔軟性が基本的に解決されます。

仮想世界でお金を稼ぎ、感じる

仮想化の段階では、最も強力な企業は VMware です。比較的早くから仮想化技術を実装し、コンピューティング、ネットワーク、ストレージの仮想化を実現できる企業です。

この会社はとても良かったです。優れたパフォーマンスを持ち、仮想化ソフトウェアの販売も好調でした。同社は多額の利益を上げ、後に EMC (Fortune 500 企業であり、ストレージ製造のトップ企業) に買収されました。

しかし、この世界には、特にプログラマーなど、情熱的な人々がまだたくさんいます。感傷的な人は何をするのが好きですか?オープンソース。

この世の多くのソフトウェアはクローズドソースかオープンソースのいずれかであり、ソースとはソースコードのことを指します。つまり、あるソフトウェアはよくできていて、誰もがそれを愛用しているのですが、そのソフトウェアのコードは私によってクローズされており、それを知っているのは私の会社だけで、他の誰も知りません。

他の人がこのソフトウェアを使いたい場合、私に料金を支払う必要があり、これをクローズドソースと呼びます。しかし、世の中には、すべてのお金がひとつの企業によって稼がれる状況に耐えられない大物たちが常に存在します。専門家は、あなたがこの技術を知っているなら、私も知ることができると考えています。あなたが開発できるなら、私にもできます。

私が開発したソフトウェアには料金はかかりません。コードをみんなと共有します。世界中の誰でも使用でき、誰もがその恩恵を受けることができます。これをオープンソースと呼びます。

たとえば、ティム・バーナーズ＝リーは非常に感傷的な人です。 2017年、彼は「ワールドワイドウェブ、最初のブラウザ、そしてワールドワイドウェブの拡張を可能にした基本的なプロトコルとアルゴリズムを発明した」として2016年のチューリング賞を受賞した。

チューリング賞はコンピューター界のノーベル賞です。しかし、彼の最も素晴らしい点は、私たちがよく知っている WWW 技術である World Wide Web を、無料で使用できるように世界中に貢献したことです。

私たちが今インターネット上で行っていることすべてに対して、彼に感謝すべきです。もし彼がこの技術で金儲けすることができれば、ビル・ゲイツと同じくらい裕福になるだろう。

オープンソースとクローズドソースの例はたくさんあります。たとえば、クローズドソースの世界には Windows があり、Windows を使用するすべての人が Microsoft に料金を支払わなければなりません。オープンソースの世界には Linux があります。

ビル・ゲイツは、WindowsやOfficeなどのクローズドソースソフトウェアで多額の利益を上げ、世界一の富豪と呼ばれました。その後、何人かの大物が別のオペレーティング システム、Linux を開発しました。

Linux について聞いたことがない人も多いかもしれません。バックエンド サーバーで実行されるプログラムの多くは Linux 上にあります。たとえば、みんながダブルイレブンを楽しむとき、Taobao、JD.com、Koala など、ダブルイレブンの買い物をサポートするシステムはすべて Linux 上で実行されています。

たとえば、Apple があれば、Android もあります。 Appleの市場価値は高いが、Appleシステムのコードを見ることはできないため、一部の専門家がAndroid携帯電話のオペレーティングシステムを作成しました。

つまり、他のほぼすべての携帯電話メーカーが Android システムをインストールしていることがわかります。その理由は、Apple システムはオープンソースではないのに対し、Android システムは誰でも使用できるからです。

仮想化ソフトウェアについても同様です。 VMware の場合、このソフトウェアは非常に高価です。その後、何人かの専門家が 2 つのオープンソース仮想化ソフトウェアを作成しました。1 つは Xen と呼ばれ、もう 1 つは KVM と呼ばれます。技術者でない場合は、これら 2 つの名前を無視できますが、後ほど説明します。

半自動仮想化と完全自動クラウドコンピューティング

仮想化ソフトウェアが柔軟性の問題を解決すると言うのは完全に真実ではありません。仮想化ソフトウェアは通常、仮想コンピュータを作成するため、仮想コンピュータを配置する物理マシンを手動で指定する必要があります。

このプロセスでは、より複雑な手動構成が必要になる場合もあります。したがって、VMware の仮想化ソフトウェアを使用するには、非常に印象的な認定を取得する必要があり、この認定を取得できる人は非常に高い給与を得ており、それがいかに複雑であるかを示しています。

そのため、仮想化ソフトウェアだけで管理できる物理マシンのクラスター サイズはそれほど大きくなく、通常は 10 台から多くても 100 台程度です。

これは時間の柔軟性に影響します。コンピューターを仮想化する時間は非常に短いですが、クラスターの規模が大きくなるにつれて、手動の構成プロセスはますます複雑になり、時間がかかります。

一方、スペースの柔軟性にも影響します。ユーザー数が多い場合、クラスターのサイズはユーザーのニーズを満たすのに十分ではありません。リソースはすぐに使い果たされ、再度購入する必要が生じる可能性があります。

したがって、クラスターの規模がどんどん大きくなると、基本的には数千単位から始まり、数万単位、さらには数千万単位に簡単に達します。 NetEase、Google、AmazonなどBATを調べてみると、サーバーの数が恐ろしいほど多いです。

仮想化されたコンピュータを配置する場所を選択し、多数のマシン間で対応する構成を行うことは、ほとんど不可能です。これを実行するには、依然として機械が必要です。

これを実現するためにさまざまなアルゴリズムが発明されており、そのアルゴリズムの名前は Scheduler と呼ばれています。

簡単に言えば、スケジューリング センターがあり、何千台ものマシンがプール内にあります。ユーザーが必要とする CPU、メモリ、ハードディスクを備えた仮想コンピューターの数に関係なく、スケジューリング センターは、ユーザーのニーズを満たすことができる大きなプール内の場所を自動的に見つけ、仮想コンピューターを起動して構成し、ユーザーが直接使用できるようにします。

この段階をプーリングまたはクラウド化と呼びます。この段階で初めてクラウド コンピューティングと呼ぶことができます。これ以前は、仮想化としか呼べませんでした。

プライベートおよびパブリッククラウドコンピューティング

クラウド コンピューティングには、大きく分けてプライベート クラウドとパブリック クラウドの 2 種類があります。プライベートクラウドとパブリッククラウドを結び付けてハイブリッドクラウドと呼ぶ人もいますが、ここではこれについては説明しません。

プライベート クラウド: 仮想化およびクラウド ソフトウェアを他のデータ センターに展開します。プライベート クラウドのユーザーは、非常に裕福な人が多いです。彼らは土地を購入してコンピューター室を建設し、独自のサーバーを購入し、クラウドベンダーにそれらを自社の場所に展開させます。

VMware は仮想化に加えて、後にクラウド コンピューティング製品を立ち上げ、プライベート クラウド市場で大きな利益を上げました。

パブリック クラウド: 仮想化とクラウド ソフトウェアは、クラウド ベンダー独自のデータ センターに展開されます。ユーザーは大きな投資をする必要はありません。アカウントを登録するだけで、Web ページをクリックするだけで仮想コンピュータを作成できます。

たとえば、AWS は Amazon のパブリッククラウドです。国内のものとしては、Alibaba Cloud、Tencent Cloud、NetEase Cloud などがあります。

Amazon はなぜパブリッククラウドを構築したいのでしょうか?アマゾンはかつて海外では比較的大きな電子商取引企業であったことは知られています。電子商取引を行っていたとき、ダブルイレブンに似たシナリオに遭遇することは必然でした。つまり、ある瞬間に誰もが急いで物を買うのです。

誰もが急いで物を購入しているとき、クラウドの時間と空間の柔軟性が特に必要になります。必ずしもすべてのリソースを準備できるわけではないので、それは無駄になります。しかし、Double Eleven で商品を購入したいのにログインできないユーザーが多数いるのを見て、ただ座って何もできないというわけにはいきません。

したがって、Double Eleven が必要な場合は、電子商取引アプリケーションをサポートするために大量の仮想コンピューターが作成され、Double Eleven 後にこれらのリソースが解放されて他の処理が実行されます。したがって、Amazon にはクラウド プラットフォームが必要です。

しかし、市販の仮想化ソフトウェアは高価すぎるため、Amazon は電子商取引で得た収益のすべてを仮想化ベンダーに渡すことはできません。

その後、Amazon は、前述の Xen や KVM などのオープンソース仮想化テクノロジーをベースにした独自のクラウド ソフトウェアを開発しました。予想外に、Amazon の電子商取引事業はますます成功し、そのクラウド プラットフォームもますます成功しました。

クラウド プラットフォームは独自の電子商取引アプリケーションをサポートする必要があるため。従来のクラウド コンピューティング ベンダーはほとんどが IT ベンダーであり、独自のアプリケーションをほとんど持っていません。そのため、Amazon のクラウド プラットフォームはアプリケーション フレンドリーであり、急速にクラウド コンピューティングのナンバーワン ブランドに成長し、多額の収益を上げています。

Amazon がクラウド コンピューティング プラットフォームの財務レポートを発表する前、人々は「Amazon は電子商取引で利益を上げているが、クラウドも利益を上げているのだろうか?」と疑問に思っていました。その後、財務報告書が発表され、その会社が多額の利益を上げていたことが判明した。昨年だけでも、Amazon AWS の年間収益は 122 億ドル、営業利益は 31 億ドルでした。

クラウドコンピューティングのお金と感情

パブリッククラウド企業第1位のAmazonは好調だが、第2位のRackspaceは平均的な業績だ。回避する方法はありません。これは、主に勝者総取りのモデルであるインターネット業界の残酷さです。したがって、2 番目がクラウド コンピューティング業界のものでない場合、多くの人は聞いたことがないかもしれません。

2番目に考えたのは、ボスに勝てなかったらどうすればいいのか？オープンソース化しましょう。前述のように、Amazon はオープンソースの仮想化技術を使用していますが、クラウド コードはクローズド ソースです。

クラウド プラットフォームを構築したいが構築できない多くの企業は、Amazon が大金を稼ぐのを見ているしかありません。 Rackspace がソースコードを公開すれば、業界全体が協力してこのプラットフォームをさらに改善することができます。兄弟たちよ、みんなで力を合わせて大ボスと競い合いましょう。

そこで、Rackspace と NASA は協力してオープンソース ソフトウェア OpenStack を作成しました。上図はOpenStackのアーキテクチャ図を示しています。クラウド コンピューティング業界に属していない人は、この図を理解する必要はありません。

しかし、コンピューティング、ネットワーキング、ストレージという 3 つのキーワードが表示されます。また、コンピューティング、ネットワーク、ストレージのためのクラウド管理プラットフォームでもあります。

もちろん、2位の技術も非常に優れています。 OpenStack の出現後、Rackspace が考えていた通り、クラウド コンピューティングを実行したい大企業はすべて熱狂しました。 IBM、HP、Dell、Huawei、Lenovoなど、想像できるすべての有名な大手IT企業が混乱に陥りました。

結局、誰もがクラウド プラットフォームを構築したいと考えているのですが、Amazon と VMware がどれだけの収益を上げているかを見ると、彼らにできることは何もありません。自力で構築するのはかなり難しいようです。

現在、オープンソースのクラウドプラットフォームである OpenStack により、あらゆる IT ベンダーがコミュニティに参加し、クラウドプラットフォームに貢献し、それを自社製品としてパッケージ化し、自社のハードウェア機器と一緒に販売しています。

プライベート クラウドを構築した企業もあれば、パブリック クラウドを構築した企業もあり、OpenStack はオープン ソース クラウド プラットフォームの事実上の標準となっています。

IaaS、リソースレベルでの柔軟性

OpenStack 技術が成熟するにつれて、管理できる規模も大きくなり、複数の OpenStack クラスターを複数セットで展開できるようになります。

例えば、北京に1セット、杭州に2セット、広州に1セットを配備し、一元的に管理します。これにより、全体の規模がさらに大きくなります。

この規模であれば、一般ユーザーの観点からすると、基本的に、欲しいものを、欲しいときに、欲しいだけ手に入れることができることになります。

クラウドディスクを例に挙げてみましょう。各ユーザーのクラウド ディスクには 5T 以上のスペースが割り当てられます。 1億人いたら、どれくらいのスペースになるでしょうか?

実際、その背後にあるメカニズムは次のとおりです。スペースが割り当てられると、そのスペースのごく一部しか使用できません。たとえば、5T が割り当てられている場合、そのような大きなスペースは見えるだけであり、実際にあなたに与えられているわけではありません。

実際は 50G しか使用していないため、実際に与えられるスペースは 50G です。ファイルをアップロードし続けると、割り当てられるスペースが増えていきます。

全員がアップロードし、クラウド プラットフォームがほぼ満杯 (たとえば、70% が使用されている) であることがわかった場合、追加のサーバーを購入し、その背後にあるリソースを拡張します。これは透過的であり、ユーザーには見えません。

ある意味、クラウド コンピューティングの弾力性が実現されました。実際、それは銀行に少し似ています。預金者はいつでもお金を引き出せると感じており、同時取り付け騒ぎが起こらない限り銀行は破綻しない。

要約する

この段階では、クラウド コンピューティングは基本的に時間の柔軟性と空間の柔軟性を実現し、コンピューティング、ネットワーク、およびストレージ リソースの弾力性を実現しています。

コンピューティング、ネットワーク、ストレージはインフラストラクチャと呼ばれることが多いため、この段階での弾力性はリソース レベルの弾力性と呼ばれます。

リソースを管理するクラウド プラットフォームはインフラストラクチャ サービスと呼ばれ、よく IaaS (Infranstracture As A Service) として耳にします。

クラウドコンピューティングはリソースだけでなくアプリケーションも重要です

IaaS では、リソース レベルで弾力性を実現するだけで十分でしょうか?当然そうではありません。アプリケーション レベルでも柔軟性はあります。

例を挙げると、電子商取引アプリケーションを実装するには、通常は 10 台のマシンで十分ですが、Double Eleven の場合は 100 台が必要になります。これは簡単にできると思うかもしれません。 IaaS を使用すると、90 台の新しいマシンを作成できます。

しかし、90 台のマシンは空の状態で作成され、電子商取引アプリケーションはインストールされていませんでした。同社の運用・保守担当者が一つずつ設置する必要があり、長い時間がかかっていました。

リソース レベルでは弾力性が実現されますが、アプリケーション レイヤーで弾力性が実現されなければ、柔軟性は依然として不十分です。この問題を解決する方法はありますか?

リソース上のアプリケーションの弾力性の問題を管理するために、IaaS プラットフォームの上に別のレイヤーが追加されました。このレイヤーは通常、PaaS (Platform As A Service) と呼ばれます。

このレイヤーは理解するのが難しい場合が多く、大まかに 2 つの部分に分かれています。1 つの部分を「独自のアプリケーションの自動インストール」と呼び、もう 1 つの部分を「一般的なアプリケーションはインストールする必要がない」と呼びます。

• 独自のアプリケーションの自動インストール: たとえば、自分で電子商取引アプリケーションを開発した場合、そのインストール方法はあなた以外には誰も知りません。

たとえば、電子商取引アプリケーションをインストールする場合、他のユーザーが電子商取引 Web サイトで商品を購入したときに支払いが自分のアカウントに入金され、自分以外の誰にも知られないように、Alipay または WeChat アカウントを構成する必要があります。

したがって、プラットフォームはインストール プロセスを支援することはできませんが、自動化することはできます。構成情報を自動インストール プロセスに統合するには、いくつかの作業を行う必要があります。

たとえば、上記の例では、Double Eleven に新しく作成された 90 台のマシンは空です。これらの 90 台の新しいマシンに電子商取引アプリケーションを自動的にインストールするツールが提供できれば、アプリケーション レベルでの真の弾力性が実現できます。

たとえば、Puppet、Chef、Ansible、Cloud Foundary はすべてこれを実行できますが、最新のコンテナ テクノロジである Docker ではさらに優れた実行が可能です。

• 一般的なアプリケーションはインストールする必要はありません。いわゆる一般的なアプリケーションとは、一般的に、データベースなど、比較的複雑ではあるが誰もが使用するアプリケーションを指します。ほとんどすべてのアプリケーションはデータベースを使用しますが、データベース ソフトウェアは標準です。設置やメンテナンスは比較的複雑ですが、誰が設置しても同じです。

このようなアプリケーションは、標準の PaaS レイヤー アプリケーションに変換され、クラウド プラットフォーム インターフェイスに配置できます。ユーザーがデータベースを必要とすると、すぐにデータベースが表示され、ユーザーは直接使用できます。

誰もが同じ方法でインストールするので、自分でインストールすればよく、クラウド プラットフォームで購入するためにお金を使う必要はない、と誰かが尋ねました。もちろん違います。データベースは非常に難しいものです。 Oracle だけでもデータベースから多額の収益を上げることができます。 Oracle を購入するのにも多額の費用がかかります。

ただし、ほとんどのクラウド プラットフォームでは MySQL などのオープン ソース データベースが提供されており、オープン ソースであるため、それほど多くの費用をかける必要はありません。

ただし、このデータベースを維持するには大規模なチームが必要です。データベースを Double Eleven をサポートするように最適化できる場合、1 〜 2 年以上かかります。

たとえば、自転車メーカーの場合、これを行うために非常に大規模なデータベース チームを採用する必要はまったくありません。コストが高すぎます。これをクラウド プラットフォームに任せる必要があります。

専門的なことは専門家が行うべきです。クラウド プラットフォームには、このシステムの保守に専念する何百人ものスタッフがいます。自転車のアプリケーションに集中するだけで済みます。

自動的にデプロイされるか、デプロイする必要がなくなります。一般的に言えば、アプリケーション層についてはあまり心配する必要はありません。これが PaaS 層の重要な役割です。

スクリプト方式では独自のアプリケーションのデプロイメントの問題を解決できますが、環境によって問題は大きく異なります。スクリプトは、ある環境では正しく実行されても、別の環境では正しく実行されない場合があります。

コンテナはこの問題をより適切に解決できます。

Container は Container であり、Container の別の意味は container です。実際、コンテナのアイデアは、ソフトウェア配信用のコンテナに変えることです。コンテナの特徴は、第一にパッケージング、第二に規格です。

コンテナがなかった時代には、A地点からB地点まで貨物を輸送する場合、3つの埠頭を通過し、船を3回乗り換える必要がありました。

船から商品を降ろすたびに、商品は乱雑に置かれ、その後再び船に積み込まれ、再び整頓されました。そのため、コンテナがない場合、乗組員は船を乗り換えるたびに数日間陸上に留まらなければなりませんでした。

コンテナでは、すべての商品が一緒に梱包され、コンテナのサイズもすべて同じなので、船を変更するたびに、1 つのボックス全体を移動するだけで済み、数時間で完了します。乗組員はもはや上陸して長期間滞在する必要がなくなりました。

容器の持つ2大特性「包装」と「規格」を生活に応用した製品です。

では、コンテナはどのようにしてアプリケーションをパッケージ化するのでしょうか?まだコンテナを学習する必要があります。まず第一に、荷物が互いに干渉せず、互いに隔離され、積み下ろしが便利になるように、荷物を梱包するための密閉された環境が必要です。幸いなことに、Ubuntu の LXC テクノロジーは長い間これを実現してきました。

閉鎖環境で使用される主なテクノロジは 2 つあります。

• 分離されているように見えるテクノロジーは名前空間と呼ばれ、各名前空間内のアプリケーションは異なる IP アドレス、ユーザー空間、プロセス番号などを認識することを意味します。
• 使用される分離テクノロジは Cgroups と呼ばれ、マシン全体に大量の CPU とメモリがあっても、アプリケーションはその一部しか使用できないことを意味します。

いわゆるミラーリングとは、溶接した瞬間のコンテナの状態を保存することを意味します。孫悟空が「フリーズ」と言ったように、コンテナはその瞬間にフリーズし、その瞬間の状態が一連のファイルとして保存されます。

これらのファイルのフォーマットは標準的であり、誰でもそれを見て、その時点で凍結された瞬間を復元することができます。イメージを実行時に復元するプロセス（つまり、イメージファイルを読み込んでその時点の状態に復元するプロセス）がコンテナを実行するプロセスとなります。

コンテナを使用すると、PaaS レイヤーでのユーザー独自のアプリケーションの自動展開が高速かつスムーズになります。

ビッグデータはクラウドコンピューティングを採用

PaaS レイヤーの複雑な汎用アプリケーションは、ビッグデータ プラットフォームです。ビッグデータはどのようにして段階的にクラウド コンピューティングに統合されるのでしょうか?

小さなデータにも知恵が詰まっている

当初、このビッグデータは大きなものではありませんでした。元々どれくらいの量のデータがあるのか​​？最近では、誰もが電子書籍を読んだり、インターネットでニュースをチェックしたりしています。 1980 年代に私たちが子供だった頃は、情報量はそれほど多くありませんでした。私たちはただ本と新聞を読みます。 1週間分の新聞には、何語ありましたか？

大都市でない限り、普通の学校図書館には本棚が全部で数個しかありません。その後、情報化が進み、さらに多くの情報が出てくるようになりました。

まず、ビッグデータのデータを見てみましょう。ビッグデータは3つの種類に分けられます。

• 構造化データ: 形式が固定され、長さが制限されたデータ。たとえば、フォームへの入力は構造化データであり、国籍：中華人民共和国、民族：漢族、性別：男性、これらはすべて構造化データと呼ばれます。
• 非構造化データ: 長さが不定で形式が固定されていない非構造化データの量が増加しています。たとえば、Web ページは非常に長い場合もあれば、数文しかない場合もあります。たとえば、音声やビデオも非構造化データです。
• 半構造化データ: XML または HTML 形式です。テクノロジーに携わっていない人はそれを理解できないかもしれませんが、それは問題ではありません。

実際、データ自体は有用ではなく、特定の方法で処理する必要があります。例えば、毎日ランニングするときに身につけているブレスレットが収集するデータもデータであり、インターネット上の多くのウェブページもデータであり、私たちはこれをデータと呼んでいます。

データ自体は役に立たないが、情報と呼ばれる非常に重要なものが含まれています。

データは非常に乱雑であり、整理され、クリーンアップされた後にのみ情報と呼ぶことができます。情報には多くのルールが含まれており、その情報からルールをまとめる必要があり、これを知識と呼び、知識が運命を変えます。

情報量は多いですが、人によってはそれを見るのは時間の無駄に過ぎません。しかし、その情報の中にeコマースの未来を見る人もいれば、ライブストリーミングの未来を見る人もいるので、すごいことになります。

情報から知識を引き出さなければ、友人のサークルを毎日チェックしても、インターネットの巨大な波の中で傍観者になるだけです。

知識を身につけ、それを実際の戦闘に応用すれば、うまくやれる人もいます。これを知性と呼びます。

知識を持っていることは必ずしも知恵を持っていることを意味するわけではありません。例えば、多くの学者は知識が豊富で、起こったことをさまざまな角度から分析することができますが、実際の仕事となると無力であり、知識を知恵に変換することができません。

多くの起業家が素晴らしいのは、獲得した知識を実践に応用し、最終的に大きなビジネスを築き上げるからです。

したがって、データの応用は、データ、情報、知識、知恵の 4 つのステップに分かれています。

最終段階は多くの企業が望んでいるものです。ほら、私はたくさんのデータを集めたんです。このデータを活用して次の決定を下し、製品を改善することはできますか?

たとえば、ユーザーがビデオを視聴しているときに、ユーザーが購入したい商品の広告がユーザーの隣にポップアップ表示される場合があります。あるいは、ユーザーが音楽を聴いているときに、別の音楽が推奨されることもあります。

私にとって、アプリやウェブサイト上でユーザーがマウスをクリックしたり、テキストを入力したりすることは、すべてデータです。そこから何かを抽出し、実践を導き、知恵を絞って、ユーザーが私のアプリに夢中になるようなものにしたいと思っています。一度私のウェブサイトにアクセスすると、お客様はそこから離れようとせず、クリックして購入し続けます。

妻がオンラインで買い物をし続けるので、ダブルイレブンの間はインターネットを切断したいと言う人が多いです。商品Aを購入した後、妻は商品Bを勧めます。妻は「あ、私も商品Bが気に入ったわ。ハニー、買いたいわ」と言います。

このプログラムはどうしてこんなに素晴らしくて賢いのでしょうか?それは私よりも妻のことを良く知っています。これはどうやって実現するのでしょうか?

データを知恵に変える方法

データ処理は次のステップに分かれており、完了して初めて知恵が生まれます。

• データ収集
• データ転送
• データストレージ
• データ処理と分析
• データ検索とマイニング

データ収集

まず第一に、データが必要です。データを収集する方法は 2 つあります。

• より専門的な用語では、crolling または crawling といいます。たとえば、検索エンジンはインターネット上のすべての情報をデータセンターにダウンロードし、その後検索できるようにします。

たとえば、検索すると、結果はリストになります。なぜこのリストが検索エンジン会社にあるのでしょうか?すべてのデータが削除されているためですが、リンクをクリックしても、そのウェブサイトはもはやその会社の検索エンジンに表示されなくなります。

たとえば、Sina にニュースがあり、それを Baidu で検索すると、クリックしない限りそのページは Baidu のデータセンターにありますが、クリックすると表示されるページは Sina のデータセンターにあります。

• プッシュ、データ収集に役立つ端末がたくさんあります。たとえば、Xiaomi ブレスレットは、毎日のランニングデータ、心拍数データ、睡眠データをデータセンターにアップロードできます。

データ転送

データ量が非常に多いため、データが使用可能になる前に処理する必要があるため、これは通常キューで実行されます。しかし、システムですべてを処理することはできなかったため、キューに入れてゆっくりと処理する必要がありました。

データストレージ

今やデータはお金であり、データをマスターすることはお金をマスターすることと同じです。そうでなければ、ウェブサイトはあなたが何を購入したいのかをどうやって知るのでしょうか?

それは、過去の取引データが含まれているからです。この情報は他人に渡すことはできず、非常に貴重なので保存する必要があります。

データ処理と分析

上記に保存されているデータは生データです。生データはほとんどが整理されておらず、ジャンクデータが大量に含まれています。したがって、高品質のデータを取得するには、データをクリーニングしてフィルタリングする必要があります。

高品質なデータの場合は、分析を実行してデータを分類したり、データ間の関係性を発見して知識を得たりすることができます。

たとえば、ウォルマートスーパーマーケットのビールとおむつに関する人気の記事は、人々の購買データの分析に基づいており、男性は一般的におむつを購入するときにビールも同時に購入することが判明しました。

このようにして、ビールとおむつの関係性が発見され、知識が得られ、それが実践に応用されます。ビールカウンターとおむつカウンターを近くに設置することで、知恵が得られます。

データ検索とマイニング

検索とは検索することを意味します。外部に関するご質問は、Google にお問い合わせください。国内の事柄について質問がある場合は、Baidu にお問い合わせください。国内外の検索エンジンは分析したデータを検索エンジンに載せているので、人々が情報を探したいときには、一度の検索で見つけることができます。

もう一つは採掘です。単なる検索だけでは人々のニーズを満たすことはできなくなりました。情報間の関係性を掘り起こすことも必要です。

たとえば、金融検索で会社の株式を検索する場合、会社の役員も検出されるべきでしょうか?

ある会社の株を検索して、株価がかなり上昇していることがわかったのでそれを買ったのに、その会社の幹部がその株にとって非常に不利な声明を出し、翌日株価が下落したら、大多数の投資家に損害を与えるのではないでしょうか。したがって、さまざまなアルゴリズムを通じてデータ内の関係性をマイニングし、知識ベースを形成することが非常に重要です。

ビッグデータの時代では、誰もが火に油を注ぐことになります。

データ量が少ない場合、少数のマシンしかそれを処理できません。徐々にデータ量が増え、最も強力なサーバーでも問題を解決できなくなったら、どうすればよいでしょうか?

現時点では、複数のマシンのパワーを結集する必要があり、全員が協力してこの作業を完了します。みんなが燃料を追加すれば、火はさらに強く燃え上がります。

データ収集について：IoTに関しては、屋外に数万台の検出装置が設置されており、温度、湿度、監視、電力などの大量のデータを収集しています。インターネットのウェブページの検索エンジンに関しては、インターネット全体のすべてのウェブページをダウンロードする必要があります。

これは明らかに 1 台のマシンだけで実行できるものではありません。 Web クローラー システムを形成するには複数のマシンが必要です。各マシンは部分をダウンロードし、同時に動作して、限られた時間内に大量の Web ページをダウンロードします。

データ転送に関して：メモリ内のキューは大量のデータによって確実に圧倒されるため、ハードディスクに基づく分散キューが作成され、キューが複数のマシンによって同時に転送できるようになります。データ量がどれだけ多くても、十分なキューがあり、パイプラインが十分に厚い限り、処理できます。

データ保存に関して: 1 台のマシンのファイル システムではすべてのデータを収容できないため、複数のマシンのハード ディスクを 1 つの大きなファイル システムに統合する大規模な分散ファイル システムが必要になります。

データ分析の場合: 大量のデータを分解、カウント、要約する必要がある場合がありますが、1 台のマシンでは処理できず、分析を完了するのに非常に長い時間がかかります。

そこで、大量のデータを小さな部分に分割し、各マシンが小さな部分を処理し、複数のマシンが並列に処理することで、計算を迅速に完了できる分散コンピューティング方式があります。

たとえば、有名な Terasort は 1 TB のデータ (1000 GB に相当) をソートします。単一のマシンで処理すると数時間かかりますが、並列処理では209秒で完了します。

ではビッグデータとは何でしょうか?率直に言えば、1 台のマシンでタスクを完了できない場合は、全員が協力して作業する必要があります。

しかし、データ量が増加するにつれて、多くの中小企業は相当な量のデータを処理する必要が生じます。それほど多くの機械を持っていない場合、これらの中小企業は何をすべきでしょうか?

ビッグデータにはクラウドコンピューティングが必要であり、クラウドコンピューティングにはビッグデータが必要である

これといえば、誰もがクラウドコンピューティングを思い浮かべます。これらの作業を実行するには、多数の機械を連携して実行する必要があります。本当にいつでも好きなときに好きなだけ入手できます。

たとえば、ビッグデータ企業の財務状況は週に 1 回分析されることがあります。そこに 100 台または 1,000 台のマシンを置いておき、週に 1 回しか使用しないとしたら、それは無駄です。

では、計算が必要なときにこれらの 1,000 台のマシンを取り出し、計算が不要なときにはこれらの 1,000 台のマシンに他の作業をさせるというのは可能でしょうか?

誰がこれをできるでしょうか?クラウド コンピューティングだけが、ビッグ データ コンピューティングにリソース レベルの柔軟性を提供できます。

クラウド コンピューティングでは、非常に重要な一般アプリケーションとして、PaaS プラットフォーム上にビッグ データを展開します。

ビッグデータ プラットフォームは、複数のマシンが 1 つのものを連携して処理できるようにするため、一般の人が開発できるものではなく、また一般の人が使用できるものでもありません。これを機能させるには、数十人、あるいは数百人を雇わなければなりません。

したがって、データベースと同様に、このものを扱うには専門家のグループが必要です。現在、基本的にすべてのパブリック クラウドにはビッグ データ ソリューションが備わっています。

中小企業がビッグデータ プラットフォームを必要とする場合、1,000 台のマシンを購入する必要はありません。パブリック クラウドに移行するだけで、ビッグ データ プラットフォームがすでに導入されている 1,000 台のマシンが表示されます。必要なのはデータを入力して計算することだけです。

クラウド コンピューティングにはビッグ データが必要であり、ビッグ データにはクラウド コンピューティングが必要であり、この 2 つがこのように組み合わせられています。

人工知能がビッグデータを活用する

機械が人間の心を理解できるようになるのはいつでしょうか?

ビッグデータがあっても、人間の欲求を満たすことはできません。ビッグデータプラットフォームには検索エンジンがありますが、検索するだけで欲しいものが見つかります。

しかし、自分が欲しいものをどうやって探せばいいのか分からない、表現できない、探しているものが自分の欲しいものではない、といった状況もあります。

例えば、音楽ソフトで聞いたことのない曲がおすすめされたら、当然曲名もわからず検索もできません。しかし、このソフトウェアを勧められたとき、私は本当に気に入りました。これは検索ではできないことです。

人々がこの種のアプリケーションを使用すると、欲しいものを機械内で探すのではなく、機械が私の欲しいものを知っていることに気づくでしょう。この機械は私の友人のように私を本当に理解しており、それは少し人工知能のようなものです。

人々は長い間このことについて考えてきました。当初、人々は、壁があればその壁の後ろに機械があり、それに話しかけると機械が反応するだろうと想像していました。

それが人間なのか機械なのか区別がつかないのであれば、それはまさに人工知能の産物です。

機械に推論を学ばせる

これを実現するにはどうすればよいでしょうか?人々はこう考えます: まず、コンピューターに人間の推論能力について教えなければなりません。人にとって何が大切だと思いますか？人間と動物の違いは何でしょうか？それは推論する能力を意味します。

自分の推論能力を機械に伝え、質問に基づいて機械が対応する答えを推測できたら、どれほど素晴らしいでしょうか?

実際、人々は徐々に機械が数式の証明などの推論を実行できるようにしつつあります。機械が実際に数式を証明できるというのは、非常に驚​​くべきプロセスです。

しかし、徐々にこの結果はそれほど驚くべきことではないことに気づきました。なぜなら、誰もが問題を発見したからです。数式は非常に厳密であり、推論プロセスも非常に厳密であり、数式は機械を使用して表現しやすく、プログラムも比較的簡単に表現できます。

しかし、人間の言語はそれほど単純ではありません。例えば、今夜あなたは彼女とデートしていて、彼女がこう言うとします。「あなたが早く来て私が来なかったら、待ってて。」私が早く来てあなたが来なかったら、待ってください！

この機械は理解するのが難しいですが、人々は理解しています。だから、彼女とデートに行くときは、絶対に遅刻してはいけません。

機械に知識を教える

したがって、機械に厳密な推論を教えるだけでは十分ではなく、機械に何らかの知識を教えることも必要です。しかし、ほとんどの人は機械に知識を伝えることができないかもしれません。おそらく、言語や金融の分野の専門家など、専門家ならそれができるでしょう。

言語や金融の分野の知識は、数式のように、より厳密な方法で表現できるのでしょうか?たとえば、言語の専門家は、主語、述語、目的語、形容詞、副詞、補語などの文法規則を要約することがあります。主語の後には述語が続き、述語の後には目的語が続きます。これらを要約して厳密に表現すれば十分ではないでしょうか？

後になって、言語表現は常に変化するため要約するのが非常に難しく、これは正しいアプローチではないことが分かりました。主語、述語、目的語の例を見てみましょう。話し言葉では述語が省略されることがよくあります。誰かが「あなたは誰ですか？」と尋ねたら私は答えました。「私は劉超です。」

しかし、音声意味認識中に、機械に対して標準的な書き言葉で話すことを要求することはできません。これはまだ十分スマートではありません。羅永浩氏が演説で述べたように、電話に向かって毎回「誰それに電話してください」と書き言葉で言うのは非常に恥ずかしいことだ。

人工知能のこの段階はエキスパートシステムと呼ばれます。エキスパートシステムが成功するのは容易ではありません。一方で、知識を要約することは困難であり、他方では、要約された知識をコンピュータに教えることは困難です。

まだ混乱していて、パターンがあるように感じてもそれを言葉で表現できない場合、プログラミングを通じてそれをコンピューターに教えるにはどうすればよいのでしょうか?

忘れてください、私が教えられないなら、自分で学んでください

そこで人々は考えました。機械は人間とはまったく異なる種族なのだから、機械に自ら学習させればよいのでは、と。

機械はどのように学習するのでしょうか?機械の統計能力は非常に強力であるため、統計学習に基づいて、大量の数字から特定のパターンを確実に発見できるようになります。

実際、エンターテインメント業界には、このことを垣間見ることができる良い例があります。

あるネットユーザーが、中国本土の有名歌手がリリースしたアルバム9枚から117曲の歌詞を数えた。同じ単語は歌の中で 1 回だけカウントされます。上位 10 個の形容詞、名詞、動詞を次の表に示します (単語の後の数字は出現回数です)。

ランダムな数字の列を書き、その数字の順番に形容詞、名詞、動詞から単語を取り出してつなげるとどうなるでしょうか。

たとえば、円周率の値が 3.1415926 の場合、対応する単語は、strong、road、fly、freedom、rain、bury、confused です。

少しの接続と磨き:

• 強い子
• まだ道中
• 翼を広げて自由へ飛び立とう
• 雨が彼の混乱を葬り去る

何か感じますか？もちろん、真の統計ベースの学習アルゴリズムは、この単純な統計よりもはるかに複雑です。

ただし、統計学習では単純な相関関係を簡単に理解できます。たとえば、ある単語と別の単語が常に一緒に表示される場合、2 つの単語は関連しているはずです。しかし、複雑な相関関係を表現することはできません。

さらに、統計手法の式は非常に複雑であることが多いです。計算を簡素化するために、計算の難易度を軽減するためにさまざまな独立性の仮定が頻繁に行われます。しかし、現実の世界では、独立した出来事は比較的稀です。

脳の働きをシミュレートする

そこで人間は、機械の世界の観点から人間の世界がどのように機能するかについて考え始めました。

人間の脳は、大量のルールを保存したり、大量の統計データを記録したりすることはできません。代わりに、それはニューロンの刺激を通じて達成されます。

各ニューロンは他のニューロンからの入力を受け取り、入力を受け取ると、他のニューロンを刺激する出力を生成します。その結果、多数のニューロンが互いに反応し、最終的にさまざまな出力結果が形成されます。

たとえば、美しい女性を見ると、瞳孔が広がります。これは、脳が体型に基づいてルールベースの判断を下すからではなく、人生で見てきたすべての美人を数えるからでもありません。むしろ、それはニューロンが網膜から脳へ、そして再び瞳孔へと刺激されるからです。

このプロセスでは、各ニューロンが最終結果でどのような役割を果たすかをまとめるのは実際には困難ですが、いずれにしても役割を果たします。

そこで人々はニューロンをシミュレートするために数学的な単位を使い始めました。

このニューロンには入力と出力があります。入力と出力は数式で表されます。入力は、その重要度（重み）に応じて出力に影響を与えます。

つまり、n 個のニューロンがニューラル ネットワークのように相互に接続されます。数値 n は非常に大きくなる可能性があります。すべてのニューロンは多数の列に分割でき、各列には多数のニューロンが配置されます。

入力に対する各ニューロンの重みは異なる可能性があるため、各ニューロンの式も異なります。人々がこのネットワークに何かを入力するとき、人間にとって正しい結果が出力されることを期待します。

たとえば、上記の例では、単語 2 を含む画像を入力し、出力リストの 2 番目の数字が最大になります。実際、機械の観点から見ると、入力された画像に 2 が書かれていることはわかりませんし、出力される一連の数字の意味もわかりません。人々が意味を理解している限り、それは問題ではありません。

ニューロンの場合と同様に、網膜が美しい女性を見ていることも、はっきりと見えるように瞳孔が拡張していることも知りません。とにかく、美しい女性を見ると瞳孔が開き、それで十分です。

どのニューラル ネットワークでも、入力が 2 の場合、出力が必ず 2 番目に大きい数値になるという保証はありません。この結果を確実に得るには、トレーニングと学習が必要です。

結局のところ、美しい女性を見たときに瞳孔が広がるのは、長年にわたる人類の進化の結果なのです。学習プロセスは、大量の写真を入力し、結果が期待どおりでない場合は調整することです。

どうやって調整するのですか？つまり、すべてのニューロンのすべての重みがターゲットに向けて微調整されます。ニューロンと重みが非常に多いため、ネットワーク全体によって生成される結果がこれかあれのいずれかになる可能性は低くなります。代わりに、結果に向けて少しずつ進歩し、最終的に目標の結果に到達します。

もちろん、これらの調整戦略は依然として非常に熟練しており、アルゴリズムの専門家が慎重に調整する必要があります。人間が美しい女性を見たとき、最初は瞳孔が十分に開いてはっきり見えないので、美しい女性は他の誰かと逃げてしまうのと同じです。次の学習の結果、鼻孔ではなく瞳孔が少し拡張することになります。

意味が分からないが、それはできる

それほど合理的ではないように聞こえますが、実行可能です。すごくわがままですね！

ニューラル ネットワークの普遍定理は、次のように述べています。誰かが複雑で奇妙な関数 f(x) を与えたとします。

この関数が何であれ、あらゆる可能な入力 x に対して、ニューラル ネットワークの出力である値 f(x) (または正確な近似値) を持つニューラル ネットワークが存在することが保証されます。

関数が法則を表す場合、その法則がどんなに奇妙で理解しがたいものであっても、多数のニューロンと多数の重みの調整によって表現できることを意味します。

人工知能の経済学

経済学を思い出して理解しやすくなりました。

私たちは、それぞれのニューロンを社会の中で経済活動に従事する個人として捉えています。したがって、ニューラルネットワークは経済社会全体に相当します。各ニューロンは社会の入力の重みを調整し、対応する出力を作成します。

例えば、賃金が上がり、野菜の価格が上がり、株価が下がった場合、私は何をすべきか、どのようにお金を使うべきでしょうか?ここにはパターンはないのでしょうか？もちろんありますが、具体的なルールは何ですか?説明するのは難しいです。

エキスパートシステムに基づく経済は計画経済です。経済法則の全体は、経済人一人ひとりの独立した意思決定によって表現されるのではなく、むしろ専門家の広い視野と先見の明によってまとめられることが期待される。しかし、どの都市のどの通りに甘い豆腐プリンを売っている店がないかは、専門家でも決して分からないだろう。

そのため、鉄鋼や蒸しパンをどれくらい生産すべきかという専門家の提案は、人々の生活の実際のニーズとはかけ離れていることが多いのです。たとえ全体の計画が何百ページにもわたって書かれていたとしても、人々の生活に潜む小さなルールを表現することはできません。

統計に基づくマクロ経済管理の方がはるかに信頼性が高い。統計局は毎年、社会全体の雇用率、インフレ率、GDPなどの指標に関する統計をまとめます。これらの指標は、多くの場合、多くの内部ルールを表します。正確に表現することはできませんが、比較的信頼性があります。

しかし、統計に基づく法律の要約は比較的大まかです。たとえば、経済学者はこれらの統計を見て、住宅価格が長期的に上昇するか下落するか、あるいは株価が長期的に上昇するか下落するかを結論付けることができます。

経済全体が改善していれば、住宅価格と株価はともに上昇するはずです。しかし、統計データに基づいて、株価や価格の小さな変動のパターンをまとめることは不可能です。

ニューラルネットワークに基づくミクロ経済学は、経済法則全体を最も正確に表現したものです。誰もが社会へのインプットに対して独自の調整を行い、その調整はインプットとして社会にフィードバックされます。

株式市場の微妙な変動を想像してみてください。これは、各独立した個人が継続的に取引した結果であり、従うべき統一されたパターンはありません。

各人は社会全体からの意見に基づいて独立した意思決定を行います。特定の要素が複数回トレーニングされると、マクロ経済学で見られるようなマクロ統計法則が形成されます。

たとえば、大量の通貨が発行されるたびに、住宅価格は最終的に上昇します。繰り返し訓練すれば、人はそれを習得するでしょう。

人工知能にはビッグデータが必要

ただし、ニューラル ネットワークには非常に多くのノードが含まれており、各ノードには多くのパラメーターが含まれています。パラメータの総数が多すぎるため、必要な計算量が多くなりすぎます。

しかし、それは問題ではありません。当社には、複数のマシンのパワーを結集して計算し、限られた時間内に目的の結果を得ることができるビッグデータ プラットフォームがあります。

人工知能は、スパムの識別、ポルノや暴力的なテキストや画像の識別など、さまざまなことを行うことができます。

これも 3 つの段階を経ました。

• キーワードのブラックリストとフィルタリング技術を利用して、ポルノや暴力的なテキストを識別するために特定の単語が含まれています。インターネット言語がますます増えるにつれて、言葉は絶えず変化しており、この語彙の更新についていくのは少し困難です。
• ベイジアンフィルタリングなどのいくつかの新しいアルゴリズムに基づいて、ベイジアンアルゴリズムが何であるかを知る必要はありませんが、この名前は聞いたことがあるはずです。これは確率に基づいたアルゴリズムです。
• ビッグデータと人工知能に基づいて、より正確なユーザープロファイリング、テキスト理解、画像理解を実行できます。

人工知能アルゴリズムは主に大量のデータに依存するため、これらのデータは特定の分野（電子商取引、電子メールなど）で長期間にわたって蓄積される必要があることがよくあります。

データがなければ人工知能アルゴリズムは役に立たないため、これまでのIaaSやPaaSのように顧客向けに人工知能プログラムをインストールし、顧客が利用できるようにすることはほとんどありません。

各顧客には個別の機器セットが提供され、トレーニングに関連するデータがないため、結果が非​​常に悪くなることがよくあります。

ただし、クラウド コンピューティング ベンダーは大量のデータを蓄積することが多いため、サービス インターフェイスを公開するためのセットがクラウド コンピューティング ベンダーにインストールされます。

たとえば、テキストにポルノや暴力が含まれているかどうかを識別したい場合は、このオンライン サービスを直接使用できます。このタイプのサービスは、クラウド コンピューティングでは Software as a Service (SaaS) と呼ばれます。

そこで、人工知能プログラムは SaaS プラットフォームとしてクラウド コンピューティングに参入しました。

3人の関係に基づいた良い生活

最後に、クラウド コンピューティングの三兄弟、つまり IaaS、PaaS、SaaS がまとめられます。一般的に言えば、クラウド、ビッグデータ、人工知能はクラウド コンピューティング プラットフォーム上で見つかります。

ビッグデータ企業は、大量のデータを蓄積し、人工知能アルゴリズムを使用していくつかのサービスを提供します。人工知能企業はビッグデータプラットフォームのサポートなしでは成り立ちません。

したがって、このようにクラウドコンピューティング、ビッグデータ、人工知能が統合されると、お互いに出会い、知り合い、理解するというプロセスが完了します。