ポピュラーサイエンス |クラウドコンピューティング、ビッグデータ、人工知能のわかりやすい入門

[[358116]]

今日はクラウド コンピューティング、ビッグ データ、人工知能についてお話します。なぜこの3つのことについて話すのでしょうか?なぜなら、これら 3 つは現在非常に人気があり、互いに関連しているように見えるからです。一般的に、クラウド コンピューティングについて話すときはビッグ データについて言及し、人工知能について話すときはビッグ データについて言及し、人工知能について話すときはクラウド コンピューティングについて言及します...この 3 つは互いに補完し合い、切り離せないものであるように感じます。しかし、技術者でない人にとっては、この3つの関係性を理解するのは難しいかもしれないので、説明する必要があります。

1. クラウドコンピューティングの本来の目的

まずはクラウドコンピューティングから始めましょう。クラウド コンピューティングの本来の目的は、主にコンピューティング リソース、ネットワーク リソース、ストレージ リソースなどのリソースを管理することです。

1. データセンターの管理はコンピュータの設定に似ている

コンピューティング、ネットワーク、ストレージ リソースとは何ですか?

たとえば、ノートパソコンを購入する場合、どのような CPU が搭載されているかを気にする必要がありますか?メモリはどれくらいですか?これら 2 つはコンピューティング リソースと呼ばれます。

このコンピュータがインターネットにアクセスするには、ネットワーク ケーブルを接続するインターネット ポート、または自宅のルーターに接続できるワイヤレス ネットワーク カードが必要です。 100M 帯域幅などのネットワークを開設するには、家庭でも China Unicom、China Mobile、China Telecom などの通信事業者と契約する必要があります。その後、技術者がインターネット ケーブルを持ってお客様のご自宅に伺い、ルーターと会社のインターネット接続間の接続の設定をお手伝いします。このようにして、自宅内のすべてのコンピューター、携帯電話、タブレットがルーターを介してインターネットにアクセスできるようになります。これはネットワーク リソースです。

ハードドライブの容量はどれくらいですか? という質問もあるかもしれません。以前は、ハードドライブの容量は 10G 程度と非常に小さかったです。その後、500G、1T、2T のハード ドライブも目新しくなくなりました。 （1Tは1000G）、これがストレージリソースです。

これはコンピューターにも当てはまりますが、データセンターにも当てはまります。非常に大きなコンピューター室があり、そこに多数のサーバーが積み上げられていると想像してください。これらのサーバーには CPU、メモリ、ハードディスクも搭載されており、ルーターに似たデバイスを介してインターネットにアクセスします。現時点での疑問は、データセンターを運営する人々がこれらのデバイスをどのようにして統一的に管理するかということです。

2. 柔軟性とは、欲しいものを、欲しいときに、欲しいだけ手に入れられることを意味します。

経営の目標は、2つの側面で柔軟性を実現することです。具体的にはどの2つの側面ですか?

理解するために例を見てみましょう。たとえば、CPU が 1 つ、メモリが 1G、ハードディスクが 10G、帯域幅が 1M の非常に小型のコンピューターが必要な場合を考えてみましょう。彼に渡していただけますか？このコンピュータのような小型のスペックのコンピュータは、最近のどのノートパソコンよりも高性能であり、自宅のブロードバンドは少なくとも 100M になります。しかし、クラウド コンピューティング プラットフォームにアクセスすれば、このリソースが必要なときにクリックするだけで入手できます。

この場合、柔軟性の 2 つの側面を実現できます。

時間の柔軟性: いつでも入手でき、必要なときに準備できます。

空間の柔軟性：好きなだけ。あらゆるサイズのコンピューターが必要な場合でも、満足できます。クラウドディスクのように特に大きなスペースが必要な場合、クラウドディスクによって各人に割り当てられるスペースは非常に大きいことが多く、いつでもアップロードできるスペースが常に存在し、使い果たされることはなく、満足することもできます。

空間的な柔軟性と時間的な柔軟性は、クラウド コンピューティングの弾力性とよく呼ばれるものです。この弾力性の問題を解決するには長い開発期間が必要でした。

3. 物理的な設備は柔軟性に欠ける

最初の段階は物理的な装備期間です。この期間中、顧客がコンピュータを必要とする場合、私たちはそれを購入し、データセンターに設置していました。

物理デバイスは確かにますます強力になっています。たとえば、サーバーには数百 GB のメモリが搭載されていることがよくあります。たとえば、ネットワーク デバイスは、1 つのポートで数十 GB または数百 GB の帯域幅を持つ場合があります。たとえば、データセンターのストレージは少なくとも PB レベルです (1 P は 1000 T、1 T は 1000 G)。

ただし、物理デバイスでは大きな柔軟性は提供できません。

1 つ目は、時間の柔軟性が欠けていることです。欲しいものをいつでも手に入れることはできません。たとえば、サーバーやコンピューターを購入する場合、購入には時間が必要です。ユーザーが突然、パソコンを立ち上げて物理サーバーを使いたいとクラウドベンダーに伝えても、その時点では購入するのは難しいでしょう。仕入先との関係が良好であれば、購入までに 1 週​​間かかることもありますが、仕入先との関係が平均的な場合は、購入までに 1 か月かかることもあります。ユーザーはコンピュータが到着するまで長い間待機し、その後ログインして自分のアプリケーションの展開をゆっくりと開始する必要がありました。時間の柔軟性が非常に低い。

第二に、空間的な柔軟性も良くありません。たとえば、上記のユーザーは非常に小型のコンピューターを必要としていますが、現在そのような小型のコンピューターはどこで入手できるでしょうか?わずか 1 GB のメモリと 80 GB のハード ドライブというユーザーのニーズを満たすためだけに、このような小さなマシンを購入することはできません。しかし、大きなものを購入すると、コンピューターが大きいためユーザーに追加料金を請求する必要がありますが、ユーザーが必要とするのは小さなコンピューターだけなので、追加料金を支払うのは不公平です。

4. 仮想化ははるかに柔軟です

誰かが解決策を見つけました。最初の方法は仮想化です。ユーザーに必要なのは、非常に小さなコンピューターだけではないでしょうか?データセンター内の物理的な設備は非常に強力です。物理 CPU、メモリ、ハードディスクの一部を仮想化して顧客に提供したり、また、一部を仮想化して他の顧客に提供したりすることもできます。各顧客は自分の小さな部分しか見ることができませんが、実際には各顧客は大きなデバイス全体の小さな部分を使用しています。

仮想化テクノロジーにより、異なるクライアントのコンピューターが分離されているように見えます。つまり、私にとってこのディスクは私のものであり、あなたにとってこのディスクはあなたのものであるように見えますが、実際の状況は、私の 10G とあなたの 10G が同じ非常に大きなストレージ上にある可能性があります。さらに、物理デバイスが事前に準備されている場合、仮想化ソフトウェアは基本的に数分で非常に迅速にコンピューターを仮想化できます。したがって、任意のクラウド上にコンピューターを作成する場合、かかる時間はわずか数分です。それが理由です。

このようにして、空間的な柔軟性と時間的な柔軟性が基本的に解決されます。

5. 仮想世界でお金と感情を生み出す

仮想化の段階では、最も強力な企業は VMware です。比較的早くから仮想化技術を実装し、コンピューティング、ネットワーク、ストレージの仮想化を実現できる企業です。この会社はとても良かったです。優れたパフォーマンスを持ち、仮想化ソフトウェアの販売も好調でした。同社は多額の利益を上げ、後に EMC (Fortune 500 企業であり、ストレージ製造のトップ企業) に買収されました。

しかし、この世界には、特にプログラマーなど、情熱的な人々がまだたくさんいます。感傷的な人は何をするのが好きですか?オープンソース。

この世の多くのソフトウェアはクローズドソースかオープンソースのいずれかであり、ソースとはソースコードのことを指します。つまり、あるソフトウェアはよくできていて、誰もがそれを愛用しているのですが、そのソフトウェアのコードは私によってクローズされており、それを知っているのは私の会社だけで、他の誰も知りません。他の人がこのソフトウェアを使いたい場合、私に料金を支払う必要があり、これをクローズドソースと呼びます。

しかし、世の中には、すべてのお金がひとつの企業によって稼がれる状況に耐えられない大物たちが常に存在します。専門家は、あなたがこの技術を知っているなら、私も知ることができると考えています。あなたが開発できるなら、私にもできます。私が開発したソフトウェアには料金はかかりません。コードをみんなと共有します。世界中の誰でも使用でき、誰もがその恩恵を受けることができます。これをオープンソースと呼びます。

たとえば、ティム・バーナーズ＝リーは非常に感傷的な人です。 2017年、彼は「ワールドワイドウェブ、最初のブラウザ、そしてワールドワイドウェブの拡張を可能にした基本的なプロトコルとアルゴリズムを発明した」として2016年のチューリング賞を受賞した。チューリング賞はコンピューター界のノーベル賞です。しかし、彼の最も素晴らしい点は、私たちがよく知っている WWW 技術である World Wide Web を、無料で使用できるように世界中に貢献したことです。私たちが今インターネット上で行っていることすべてに対して、彼に感謝すべきです。もし彼がこの技術で金儲けすることができれば、ビル・ゲイツと同じくらい裕福になるだろう。

オープンソースとクローズドソースの例は数多くあります。

たとえば、クローズドソースの世界には Windows があり、Windows を使用するすべての人が Microsoft に料金を支払わなければなりません。オープンソースの世界には Linux があります。ビル・ゲイツは、WindowsやOfficeなどのクローズドソースソフトウェアで多額の利益を上げ、世界一の富豪と呼ばれました。その後、何人かの大物が別のオペレーティング システム、Linux を開発しました。 Linux について聞いたことがない人も多いかもしれません。バックエンド サーバーで実行されるプログラムの多くは Linux 上で実行されます。たとえば、みんながダブルイレブンを楽しむとき、Taobao、JD.com、Koala など、ダブルイレブンの買い物をサポートするシステムはすべて Linux 上で実行されています。たとえば、Apple があれば、Android もあります。 Apple の市場価値は高いが、Apple システムのコードを見ることはできない。そこで、何人かの専門家が Android 携帯電話のオペレーティング システムを作成しました。つまり、他のほぼすべての携帯電話メーカーが Android システムをインストールしていることがわかります。その理由は、Apple システムはオープンソースではないのに対し、Android システムは誰でも使用できるからです。

仮想化ソフトウェアについても同様です。 VMware の場合、このソフトウェアは非常に高価です。その後、何人かの専門家が 2 つのオープンソース仮想化ソフトウェアを作成しました。1 つは Xen と呼ばれ、もう 1 つは KVM と呼ばれます。技術者でない場合は、これら 2 つの名前を無視できますが、後ほど説明します。

6. 半自動仮想化と全自動クラウドコンピューティング

仮想化ソフトウェアが柔軟性の問題を解決すると言うのは完全に真実ではありません。仮想化ソフトウェアは通常、仮想コンピュータを作成するため、仮想コンピュータを配置する物理マシンを手動で指定する必要があります。このプロセスでは、より複雑な手動構成が必要になる場合もあります。したがって、VMware の仮想化ソフトウェアを使用するには、非常に優れた認定を取得する必要があります。この資格を取得できる人の給与は非常に高く、この資格がいかに複雑であるかがわかります。

そのため、仮想化ソフトウェアだけで管理できる物理マシンのクラスター サイズはそれほど大きくなく、通常は 10 台から多くても 100 台程度です。

これは時間の柔軟性に影響します。コンピューターを仮想化する時間は非常に短いですが、クラスターの規模が大きくなるにつれて、手動の構成プロセスはますます複雑になり、時間がかかります。一方、スペースの柔軟性にも影響します。ユーザー数が多い場合、クラスターのサイズはユーザーのニーズを満たすのに十分ではありません。リソースはすぐに使い果たされ、再度購入する必要が生じる可能性があります。

したがって、クラスターの規模がどんどん大きくなると、基本的には数千単位から始まり、数万単位、さらには数千万単位に簡単に達します。 NetEase、Google、AmazonなどBATを調べてみると、サーバーの数が恐ろしいほど多いです。仮想化されたコンピュータを配置する場所を選択し、多数のマシン間で対応する構成を行うことは、ほとんど不可能です。これを実行するには、依然として機械が必要です。

これを実現するためにさまざまなアルゴリズムが発明されており、そのアルゴリズムの名前はSchedulerと呼ばれています。簡単に言えば、スケジューリング センターがあり、何千台ものマシンがプール内にあります。ユーザーが必要とする CPU、メモリ、ハードディスクを備えた仮想コンピューターの数に関係なく、スケジューリング センターは、ユーザーのニーズを満たすことができる大きなプール内の場所を自動的に見つけ、仮想コンピューターを起動して構成し、ユーザーが直接使用できるようにします。この段階をプーリングまたはクラウド化と呼びます。この段階で初めてクラウド コンピューティングと呼ぶことができます。これ以前は、仮想化としか呼べませんでした。

7. プライベートおよびパブリッククラウドコンピューティング

クラウド コンピューティングには、大きく分けてプライベート クラウドとパブリック クラウドの 2 種類があります。プライベートクラウドとパブリッククラウドを結び付けてハイブリッドクラウドと呼ぶ人もいますが、ここではこれについては説明しません。

プライベート クラウド: 仮想化およびクラウド ソフトウェアを他者のデータ センターに展開します。プライベート クラウドのユーザーは、非常に裕福な人が多いです。彼らは土地を購入してコンピューター室を建設し、独自のサーバーを購入し、クラウドベンダーにそれらを自社の場所に展開させます。 VMware は仮想化に加えて、後にクラウド コンピューティング製品を立ち上げ、プライベート クラウド市場で大きな利益を上げました。

パブリック クラウド: 仮想化とクラウド ソフトウェアは、クラウド ベンダー独自のデータ センターに展開されます。ユーザーは大きな投資をする必要はありません。アカウントを登録するだけで、Web ページをクリックするだけで仮想コンピュータを作成できます。たとえば、AWS は Amazon のパブリッククラウドです。例えば、中国の Alibaba Cloud、Tencent Cloud、NetEase Cloud など。

Amazon はなぜパブリッククラウドを構築したいのでしょうか?アマゾンはかつて海外では比較的大きな電子商取引企業であったことは知られています。電子商取引を行っていたとき、ダブルイレブンに似たシナリオに遭遇することは必然でした。つまり、ある瞬間に誰もが急いで物を買うのです。誰もが急いで物を購入しているとき、クラウドの時間と空間の柔軟性が特に必要になります。必ずしもすべてのリソースを準備できるわけではないので、それは無駄になります。しかし、多くのユーザーがダブルイレブンで買い物をしたいのにログインできないのを見て、ただ座って何もできないというわけにはいきません。そのため、ダブルイレブンが必要なときには、電子商取引アプリケーションをサポートするために大量の仮想コンピューターが作成され、ダブルイレブンの後にはこれらのリソースが他の用途に解放されます。したがって、Amazon にはクラウド プラットフォームが必要です。

しかし、市販の仮想化ソフトウェアは高価すぎるため、Amazon は電子商取引で得た収益のすべてを仮想化ベンダーに渡すことはできません。その後、Amazon は、前述の Xen や KVM などのオープンソース仮想化テクノロジーをベースにした独自のクラウド ソフトウェアを開発しました。予想外に、Amazon の電子商取引事業はますます成功し、そのクラウド プラットフォームもますます成功しました。

クラウド プラットフォームは独自の電子商取引アプリケーションをサポートする必要があるため。従来のクラウド コンピューティング ベンダーはほとんどが IT ベンダーであり、独自のアプリケーションをほとんど持っていません。そのため、Amazon のクラウド プラットフォームはアプリケーション フレンドリーであり、急速にクラウド コンピューティングのナンバーワン ブランドに成長し、多額の収益を上げています。

Amazon がクラウド コンピューティング プラットフォームの財務レポートを発表する前、人々は「Amazon は電子商取引で利益を上げているが、クラウドも利益を上げているのだろうか?」と疑問に思っていました。その後、財務報告書が発表され、その会社が多額の利益を上げていたことが判明した。昨年だけでも、Amazon AWS の年間収益は 122 億ドル、営業利益は 31 億ドルでした。

8. クラウドコンピューティングの収益性と感情

パブリッククラウド企業第1位のAmazonは好調だが、第2位のRackspaceは平均的な業績だ。回避する方法はありません。これは、主に勝者総取りのモデルであるインターネット業界の残酷さです。したがって、2 番目がクラウド コンピューティング業界のものでない場合、多くの人は聞いたことがないかもしれません。

2番目に考えたのは、ボスに勝てなかったらどうすればいいのか？オープンソース化しましょう。前述のように、Amazon はオープンソースの仮想化技術を使用していますが、クラウド コードはクローズド ソースです。クラウド プラットフォームを構築したいが構築できない多くの企業は、Amazon が大金を稼ぐのを見ているしかありません。 Rackspace がソースコードを公開すれば、業界全体が協力してこのプラットフォームをさらに改善することができます。兄弟たちよ、みんなで力を合わせて大ボスと競い合いましょう。

そこで、Rackspace と NASA は協力してオープンソース ソフトウェア OpenStack を作成しました。上図はOpenStackのアーキテクチャ図を示しています。クラウド コンピューティング業界に属していない人は、この図を理解する必要はありませんが、コンピューティング、ネットワーク、ストレージという 3 つのキーワードが示されています。また、コンピューティング、ネットワーク、ストレージのためのクラウド管理プラットフォームでもあります。

もちろん、2位の技術も非常に優れています。 OpenStack の出現後、Rackspace が考えていた通り、クラウド コンピューティングを実行したい大企業はすべて熱狂しました。 IBM、HP、Dell、Huawei、Lenovoなど、想像できるすべての有名な大手IT企業が混乱に陥りました。

結局、誰もがクラウド プラットフォームを構築したいと考えているのですが、Amazon と VMware がどれだけの収益を上げているかを見ると、彼らにできることは何もありません。自力で構築するのはかなり難しいようです。現在、オープンソースのクラウドプラットフォームである OpenStack により、あらゆる IT ベンダーがコミュニティに参加し、クラウドプラットフォームに貢献し、それを自社製品としてパッケージ化し、自社のハードウェア機器と一緒に販売しています。プライベート クラウドを構築した企業もあれば、パブリック クラウドを構築した企業もあり、OpenStack はオープン ソース クラウド プラットフォームの事実上の標準となっています。

9. IaaS、リソースレベルでの柔軟性

OpenStack 技術が成熟するにつれて、管理できる規模も大きくなり、複数の OpenStack クラスターを複数セットで展開できるようになります。例えば、北京に1セット、杭州に2セット、広州に1セットを配備し、一元的に管理します。これにより、全体の規模がさらに大きくなります。

この規模であれば、一般ユーザーの観点からすると、基本的に、欲しいものを、欲しいときに、欲しいだけ手に入れることができることになります。クラウドディスクを例に挙げてみましょう。各ユーザーのクラウド ディスクには 5T 以上のスペースが割り当てられます。 1億人いたら、どれくらいのスペースになるでしょうか?

実際、その背後にあるメカニズムは次のとおりです。スペースが割り当てられると、そのスペースのごく一部しか使用できません。たとえば、5T が割り当てられている場合、そのような大きなスペースは表示されるだけであり、実際に与えられるものではありません。実際は 50G しか使用していないため、実際に付与されるのは 50G です。ファイルをアップロードし続けると、割り当てられるスペースが増えていきます。

全員がアップロードし、クラウド プラットフォームがほぼ満杯 (たとえば、70% が使用されている) であることがわかった場合、追加のサーバーを購入し、その背後にあるリソースを拡張します。これは透過的であり、ユーザーには見えません。ある意味、クラウド コンピューティングの弾力性が実現されました。実際、それは銀行に少し似ています。預金者はいつでもお金を引き出せると感じており、同時取り付け騒ぎが起こらない限り銀行は破綻しない。

10. 結論

この段階では、クラウド コンピューティングは基本的に時間の柔軟性と空間の柔軟性を実現し、コンピューティング、ネットワーク、およびストレージ リソースの弾力性を実現しています。コンピューティング、ネットワーク、ストレージはインフラストラクチャと呼ばれることが多いため、この段階での弾力性はリソース レベルの弾力性と呼ばれます。リソースを管理するクラウド プラットフォームはインフラストラクチャ サービスと呼ばれ、よく IaaS (Infranstracture As A Service) として耳にします。

2. クラウドコンピューティングはリソースだけでなくアプリケーションも重要です

IaaS では、リソース レベルで弾力性を実現するだけで十分でしょうか?当然そうではありません。アプリケーション レベルでも柔軟性はあります。

例を挙げると、電子商取引アプリケーションを実装するには、通常は 10 台のマシンで十分ですが、Double Eleven の場合は 100 台が必要になります。これは簡単にできると思うかもしれません。 IaaS を使用すると、90 台の新しいマシンを作成できます。しかし、90 台のマシンは空の状態で作成され、電子商取引アプリケーションはインストールされていませんでした。同社の運用・保守担当者が一つずつ設置する必要があり、長い時間がかかっていました。

リソース レベルでは弾力性が実現されますが、アプリケーション レイヤーで弾力性が実現されなければ、柔軟性は依然として不十分です。この問題を解決する方法はありますか?

リソース上のアプリケーションの弾力性の問題を管理するために、IaaS プラットフォームの上に別のレイヤーが追加されました。このレイヤーは通常、 PaaS (Platform As A Service) と呼ばれます。このレイヤーは理解するのが難しい場合が多く、大まかに 2 つの部分に分かれています。1 つの部分を「独自のアプリケーションの自動インストール」と呼び、もう 1 つの部分を「一般的なアプリケーションはインストールする必要がない」と呼びます。

独自のアプリケーションの自動インストール: たとえば、自分で電子商取引アプリケーションを開発した場合、そのインストール方法はあなた以外には誰も知りません。たとえば、電子商取引アプリケーションをインストールする場合、他のユーザーが電子商取引 Web サイトで商品を購入したときに支払いが自分のアカウントに入金され、自分以外の誰にも知られないように、Alipay または WeChat アカウントを構成する必要があります。したがって、プラットフォームはインストール プロセスを支援することはできませんが、自動化することはできます。構成情報を自動インストール プロセスに統合するには、いくつかの作業を行う必要があります。たとえば、上記の例では、Double Eleven に新しく作成された 90 台のマシンは空です。これらの 90 台の新しいマシンに電子商取引アプリケーションを自動的にインストールするツールが提供できれば、アプリケーション レベルでの真の弾力性が実現できます。たとえば、Puppet、Chef、Ansible、Cloud Foundary はすべてこれを実行できますが、最新のコンテナ テクノロジである Docker ではさらに優れた実行が可能です。

一般的なアプリケーションはインストールする必要はありません。いわゆる一般的なアプリケーションとは、一般的に、データベースなど、比較的複雑ではあるが誰もが使用するアプリケーションを指します。ほとんどすべてのアプリケーションはデータベースを使用しますが、データベース ソフトウェアは標準です。設置やメンテナンスは比較的複雑ですが、誰が設置しても同じです。このようなアプリケーションは、標準の PaaS レイヤー アプリケーションに変換され、クラウド プラットフォーム インターフェイスに配置できます。ユーザーがデータベースを必要とすると、すぐにデータベースが表示され、ユーザーは直接使用できます。誰もが同じ方法でインストールするので、自分でインストールすればよく、クラウド プラットフォームで購入するためにお金を使う必要はない、と誰かが尋ねました。もちろん違います。データベースは非常に難しいものです。 Oracle だけでもデータベースから多額の収益を上げることができます。 Oracle を購入するのにも多額の費用がかかります。

ただし、ほとんどのクラウド プラットフォームでは MySQL などのオープン ソース データベースが提供されており、オープン ソースであるため、それほど多くの費用をかける必要はありません。ただし、このデータベースを維持するには大規模なチームが必要です。データベースを Double Eleven をサポートするように最適化できる場合、1 〜 2 年以上かかります。

たとえば、自転車メーカーの場合、これを行うために非常に大規模なデータベース チームを採用する必要はまったくありません。コストが高すぎます。これを実行するには、クラウド プラットフォームに引き渡す必要があります。専門的なことは専門家が行うべきです。クラウド プラットフォームには、このシステムの保守に専念する何百人ものスタッフがいます。自転車のアプリケーションに集中するだけで済みます。

自動的にデプロイされるか、またはデプロイの必要はありません。一般的に言えば、アプリケーション層についてはあまり心配する必要はありません。これが PaaS 層の重要な役割です。

スクリプト方式では独自のアプリケーションのデプロイメントの問題を解決できますが、環境によって問題は大きく異なります。スクリプトは、ある環境では正しく実行されても、別の環境では正しく実行されない場合があります。

コンテナはこの問題をより適切に解決できます。

Container は Container であり、Container の別の意味は container です。実際、コンテナのアイデアは、ソフトウェア配信用のコンテナに変えることです。容器の特徴は、第一に包装、第二に規格です。

コンテナがなかった時代には、A地点からB地点まで貨物を輸送する場合、3つの埠頭を通過し、船を3回乗り換える必要がありました。船から商品を降ろすたびに、商品は乱雑に置かれ、その後再び船に積み込まれ、再び整頓されました。そのため、コンテナがない場合、乗組員は船を乗り換えるたびに数日間陸上に留まらなければなりませんでした。

コンテナでは、すべての商品が一緒に梱包され、コンテナのサイズもすべて同じなので、船を変更するたびに、1 つのボックス全体を移動するだけで済み、数時間で完了します。乗組員はもはや上陸して長期間滞在する必要がなくなりました。

容器の持つ2大特性「包装」と「規格」を生活に応用した製品です。

では、コンテナはどのようにしてアプリケーションをパッケージ化するのでしょうか?まだコンテナを学習する必要があります。まず第一に、荷物が互いに干渉せず、互いに隔離され、積み下ろしが便利になるように、荷物を梱包するための密閉された環境が必要です。幸いなことに、Ubuntu の LXC テクノロジーは長い間これを実現してきました。

閉鎖環境で使用される主なテクノロジーは 2 つあります。 1 つは Namespace と呼ばれる一見分離されたテクノロジで、各 Namespace 内のアプリケーションは異なる IP アドレス、ユーザー スペース、プロセス番号などを参照します。もう 1 つは Cgroups と呼ばれる分離テクノロジで、マシン全体に大量の CPU とメモリがあっても、アプリケーションはその一部しか使用できないことを意味します。

いわゆるミラーリングとは、溶接した瞬間のコンテナの状態を保存することを意味します。孫悟空が「フリーズ」と言ったように、コンテナはその瞬間にフリーズし、その瞬間の状態が一連のファイルとして保存されます。これらのファイルのフォーマットは標準的であり、誰でもそれを見て、その時点で凍結された瞬間を復元することができます。イメージを実行時に復元するプロセス（つまり、イメージファイルを読み込んでその時点の状態に復元するプロセス）がコンテナを実行するプロセスとなります。

コンテナを使用すると、PaaS レイヤーでのユーザー アプリケーションの自動展開が高速かつスムーズになります。

3. ビッグデータがクラウドコンピューティングを採用

PaaS レイヤーの複雑な汎用アプリケーションは、ビッグデータ プラットフォームです。ビッグデータはどのようにして段階的にクラウド コンピューティングに統合されるのでしょうか?

1. 小さなデータにも知恵が詰まっている

当初、このビッグデータは大きなものではありませんでした。元々どれくらいの量のデータがあるのか​​？最近では、誰もが電子書籍を読んだり、インターネットでニュースをチェックしたりしています。私たちが1980年代に生まれた子供だった頃は、情報量はそれほど多くありませんでした。私たちはただ本と新聞を読みます。 1週間分の新聞には、何語ありましたか？大都市でない限り、普通の学校図書館には本棚が全部で数個しかありません。その後、情報化が進み、さらに多くの情報が出てくるようになりました。

まずはビッグデータの中のデータを見てみましょう。構造化データ、非構造化データ、半構造化データの 3 つのタイプに分けられます。

構造化データ: 形式が固定され、長さが制限されたデータ。たとえば、フォームへの入力は構造化データであり、国籍：中華人民共和国、民族：漢族、性別：男性、これらはすべて構造化データと呼ばれます。

非構造化データ: 長さが不定で形式が固定されていない非構造化データの量が増加しています。たとえば、Web ページは非常に長い場合もあれば、数文しかない場合もあります。たとえば、音声やビデオも非構造化データです。

半構造化データ: XML または HTML 形式です。テクノロジーに携わっていない人はそれを理解できないかもしれませんが、それは問題ではありません。

実際、データ自体は有用ではなく、特定の方法で処理する必要があります。例えば、毎日ランニングするときに身につけているブレスレットが収集するデータもデータであり、インターネット上の多くのウェブページもデータであり、私たちはこれをデータと呼んでいます。データ自体は役に立たないが、情報と呼ばれる非常に重要なものが含まれています。

データは非常に乱雑であり、整理され、クリーンアップされた後にのみ情報と呼ぶことができます。情報には多くのルールが含まれており、その情報からルールをまとめる必要があり、これを知識と呼び、知識が運命を変えます。情報量は多いですが、人によってはそれを見るのは時間の無駄に過ぎません。しかし、その情報の中にeコマースの未来を見る人もいれば、ライブストリーミングの未来を見る人もいるので、すごいことになります。情報から知識を引き出さなければ、友人のサークルを毎日チェックしても、インターネットの巨大な波の中で傍観者になるだけです。

知識を身につけ、それを実際の戦闘に応用すれば、うまくやれる人もいます。これを知性と呼びます。知識を持っていることは必ずしも知恵を持っていることを意味するわけではありません。例えば、多くの学者は知識が豊富で、起こったことをさまざまな角度から分析することができますが、実際の仕事となると無力であり、知識を知恵に変換することができません。多くの起業家が素晴らしいのは、獲得した知識を実践に応用し、最終的に大きなビジネスを築き上げるからです。

したがって、データの応用は、データ、情報、知識、知恵の4 つのステップに分かれています。

最終段階は多くの企業が望んでいるものです。ほら、私はたくさんのデータを集めたんです。このデータを活用して次の決定を下し、製品を改善することはできますか?たとえば、ユーザーがビデオを視聴しているときに、ユーザーが購入したい商品の広告がユーザーの隣にポップアップ表示される場合があります。あるいは、ユーザーが音楽を聴いているときに、別の音楽が推奨されることもあります。

私にとって、アプリやウェブサイト上でユーザーがマウスをクリックしたり、テキストを入力したりすることは、すべてデータです。そこから何かを抽出し、実践を導き、知恵を絞って、ユーザーが私のアプリに夢中になるようなものにしたいと思っています。一度私のウェブサイトにアクセスすると、お客様はそこから離れようとせず、クリックして購入し続けます。

妻がオンラインで買い物をし続けるので、ダブルイレブンの間はインターネットを切断したいと言う人が多いです。商品Aを購入した後、妻は商品Bを勧めます。妻は「あ、私も商品Bが気に入ったわ。ハニー、買いたいわ」と言います。このプログラムはどうしてこんなに素晴らしくて賢いのでしょうか?それは私よりも妻のことを良く知っています。これはどうやって実現するのでしょうか?

2. データを知恵に変える方法

データ処理はいくつかのステップに分かれており、完了して初めて知恵が生まれます。

最初のステップはデータ収集と呼ばれます。まず第一に、データが必要です。データを収集する方法は 2 つあります。

最初の方法は、それを取ることです。これは、より専門的には、這う、または這うと呼ばれます。たとえば、検索エンジンはインターネット上のすべての情報をデータセンターにダウンロードし、その後検索できるようにします。たとえば、検索すると、結果はリストになります。なぜこのリストが検索エンジン会社にあるのでしょうか?すべてのデータが削除されているためですが、リンクをクリックしても、そのウェブサイトはもはやその会社の検索エンジンに表示されなくなります。たとえば、Sina にニュースがあり、それを Baidu で検索すると、クリックしない限りそのページは Baidu のデータセンターにありますが、クリックすると表示されるページは Sina のデータセンターにあります。

2番目の方法はプッシュです。データ収集に役立つ端末はたくさんあります。たとえば、Xiaomi ブレスレットは、毎日のランニングデータ、心拍数データ、睡眠データをデータセンターにアップロードできます。

2番目のステップはデータの送信です。データ量が非常に多いため、データが使用可能になる前に処理する必要があるため、これは通常キューで実行されます。しかし、システムですべてを処理することはできなかったため、キューに入れてゆっくりと処理する必要がありました。

3番目のステップはデータの保存です。今やデータはお金であり、データをマスターすることはお金をマスターすることと同じです。そうでなければ、ウェブサイトはあなたが何を購入したいのかをどうやって知るのでしょうか?それは、過去の取引データが含まれているからです。この情報は他人に渡すことはできず、非常に貴重なので保存する必要があります。

4番目のステップはデータの処理と分析です。上記に保存されているデータは生データです。生データはほとんどが整理されておらず、ジャンクデータが大量に含まれています。したがって、高品質のデータを取得するには、データをクリーニングしてフィルタリングする必要があります。高品質なデータの場合は、分析を実行してデータを分類したり、データ間の関係性を発見して知識を得たりすることができます。

たとえば、ウォルマート スーパーマーケットのビールとおむつに関する人気の話は、人々の購買データの分析に基づいていました。男性は一般的におむつを買うのと同時にビールも買うことが分かりました。こうしてビールとおむつの関係性が発見され、知見が得られました。これは実際に応用され、ビールカウンターとおむつカウンターを非常に近い場所に設置することで知恵が得られました。

5 番目のステップは、データの取得とマイニングです。検索とは検索することを意味します。外部に関するご質問は、Google にお問い合わせください。国内の事柄について質問がある場合は、Baidu にお問い合わせください。国内外の検索エンジンは分析したデータを検索エンジンに載せているので、人々が情報を探したいときには、一度の検索で見つけることができます。

もう一つは採掘です。単なる検索だけでは人々のニーズを満たすことはできなくなりました。情報間の関係性を掘り起こすことも必要です。たとえば、金融検索で会社の株式を検索する場合、会社の役員も検出されるべきでしょうか?ある会社の株を検索して、特に上昇しているのを見つけたので買ってみたものの、実際にはその会社の幹部がその株にとって非常に不利な発言をし、翌日株価が下落した場合、これは大多数の投資家に損害を与えるのではないでしょうか。したがって、さまざまなアルゴリズムを通じてデータ内の関係性をマイニングし、知識ベースを形成することが非常に重要です。

3. ビッグデータの時代では、誰もがより明るい未来に貢献します

データ量が少ない場合、少数のマシンしかそれを処理できません。徐々にデータ量が増え、最も強力なサーバーでも問題を解決できなくなったら、どうすればよいでしょうか?現時点では、複数のマシンのパワーを結集する必要があり、全員が協力してこの作業を完了します。みんなが燃料を追加すれば、火はさらに強く燃え上がります。

データ収集について：IoTに関しては、屋外に数万台の検出装置が設置されており、温度、湿度、監視、電力などの大量のデータを収集しています。インターネットのウェブページの検索エンジンに関しては、インターネット全体のすべてのウェブページをダウンロードする必要があります。これは明らかに 1 台のマシンだけで実行できるものではありません。 Web クローラー システムを形成するには複数のマシンが必要です。各マシンは部分をダウンロードし、同時に動作して、限られた時間内に大量の Web ページをダウンロードします。

クラウドコンピューティングとビッグデータの関係は何ですか?クラウドコンピューティング、ビッグデータ、人工知能の紹介
データ転送に関して：メモリ内のキューは大量のデータによって確実に圧倒されるため、ハードディスクに基づく分散キューが作成され、キューが複数のマシンによって同時に転送できるようになります。データ量がどれだけ多くても、十分なキューがあり、パイプラインが十分に厚い限り、処理できます。

データ保存に関して: 1 台のマシンのファイル システムではすべてのデータを収容できないため、複数のマシンのハード ディスクを 1 つの大きなファイル システムに統合した大規模な分散ファイル システムが必要になります。

データ分析の場合: 大量のデータを分解、カウント、要約する必要がある場合がありますが、1 台のマシンでは処理できず、分析を完了するのに非常に長い時間がかかります。そこで、大量のデータを小さな部分に分割し、各マシンが小さな部分を処理し、複数のマシンが並列に処理することで、計算を迅速に完了できる分散コンピューティング方式があります。たとえば、有名な Terasort は 1 TB のデータ (1000 GB に相当) をソートします。単一のマシンで処理すると数時間かかりますが、並列処理では209秒で完了します。

ではビッグデータとは何でしょうか?率直に言えば、1 台のマシンでタスクを完了できない場合は、全員が協力して作業する必要があります。しかし、データ量が増加するにつれて、多くの中小企業は相当な量のデータを処理する必要が生じます。それほど多くの機械を持っていない場合、これらの中小企業は何をすべきでしょうか?

4. ビッグデータにはクラウドコンピューティングが必要であり、クラウドコンピューティングにはビッグデータが必要である

これといえば、誰もがクラウドコンピューティングを思い浮かべます。これらの作業を実行するには、多数の機械を連携して実行する必要があります。本当にいつでも好きなときに好きなだけ入手できます。

たとえば、ビッグデータ企業の財務状況は週に 1 回分析されることがあります。そこに 100 台または 1,000 台のマシンを置いておき、週に 1 回しか使用しないとしたら、それは無駄です。では、計算が必要なときにこれらの 1,000 台のマシンを取り出し、計算が不要なときにはこれらの 1,000 台のマシンに他の作業をさせるというのは可能でしょうか?

誰がこれをできるでしょうか?クラウド コンピューティングだけが、ビッグ データ コンピューティングにリソース レベルの柔軟性を提供できます。クラウド コンピューティングでは、非常に重要な一般アプリケーションとして、PaaS プラットフォーム上にビッグ データを展開します。ビッグデータ プラットフォームは、複数のマシンが 1 つのものを連携して処理できるようにするため、一般の人が開発できるものではなく、また一般の人が使用できるものでもありません。これを機能させるには、数十人、あるいは数百人を雇わなければなりません。

したがって、データベースと同様に、これを操作するには専門家のグループが必要です。現在、基本的にすべてのパブリック クラウドにはビッグ データ ソリューションが備わっています。中小企業がビッグデータ プラットフォームを必要とする場合、1,000 台のマシンを購入する必要はありません。パブリック クラウドに移行するだけで、ビッグ データ プラットフォームがすでに導入されている 1,000 台のマシンが表示されます。必要なのはデータを入力して計算することだけです。

クラウド コンピューティングにはビッグ データが必要であり、ビッグ データにはクラウド コンピューティングが必要であり、この 2 つがこのように組み合わせられています。

4. 人工知能がビッグデータを活用する

1. 機械が人間の心を理解できるようになるのはいつでしょうか?

ビッグデータがあっても、人間の欲求を満たすことはできません。ビッグデータプラットフォームには検索エンジンがありますが、検索するだけで欲しいものが見つかります。しかし、自分が欲しいものをどうやって探せばいいのか分からない、表現できない、探しているものが自分の欲しいものではない、といった状況もあります。

例えば、音楽ソフトで聞いたことのない曲がおすすめされたら、当然曲名もわからず検索もできません。しかし、このソフトウェアを勧められたとき、私は本当に気に入りました。これは検索ではできないことです。人々がこの種のアプリケーションを使用すると、欲しいものを機械内で探すのではなく、機械が私の欲しいものを知っていることに気づくでしょう。この機械は私の友人のように私を本当に理解しており、それは少し人工知能のようなものです。

人々は長い間このことについて考えてきました。当初、人々は、壁があればその壁の後ろに機械があり、それに話しかけると機械が反応するだろうと想像していました。それが人間なのか機械なのか区別がつかないのであれば、それはまさに人工知能の産物です。

2. 機械に推論を学習させる

これを実現するにはどうすればよいでしょうか?人々はこう考えます: まず、コンピューターに人間の推論能力について教えなければなりません。人にとって何が大切だと思いますか？人間と動物の違いは何でしょうか？それは推論する能力を意味します。自分の推論能力を機械に伝え、質問に基づいて機械が対応する答えを推測できたら、どれほど素晴らしいでしょうか?

実際、人々は徐々に機械が数式の証明などの推論を実行できるようにしつつあります。機械が実際に数式を証明できるというのは、非常に驚​​くべきプロセスです。しかし、徐々にこの結果はそれほど驚くべきことではないことに気づきました。なぜなら、誰もが問題を発見したからです。数式は非常に厳密であり、推論プロセスも非常に厳密であり、数式は機械を使用して表現しやすく、プログラムも比較的簡単に表現できます。

しかし、人間の言語はそれほど単純ではありません。例えば、今夜あなたは彼女とデートしていて、彼女がこう言うとします。 「あなたが早く来て私が来なかったら、待ってて。」私が早く来てあなたが来なかったら、待ってください！この機械は理解するのが難しいですが、人々は理解しています。だから、彼女とデートに行くときは、絶対に遅刻してはいけません。

3. 機械に知識を教える

したがって、機械に厳密な推論を教えるだけでは十分ではなく、機械に何らかの知識を教えることも必要です。しかし、ほとんどの人は機械に知識を伝えることができないかもしれません。おそらく、言語や金融の分野の専門家など、専門家ならそれができるでしょう。

言語や金融の分野の知識は、数式のように、より厳密な方法で表現できるのでしょうか?たとえば、言語の専門家は、主語、述語、目的語、形容詞、副詞、補語などの文法規則を要約することがあります。主語の後には述語が続き、述語の後には目的語が続きます。これらを要約して厳密に表現すれば十分ではないでしょうか？

後になって、言語表現は常に変化するため要約するのが非常に難しく、これは正しいアプローチではないことが分かりました。主語、述語、目的語の例を見てみましょう。話し言葉では述語が省略されることがよくあります。誰かが「あなたは誰ですか？」と尋ねたら私は答えました。「私は劉超です。」しかし、音声意味認識中に、機械に対して標準的な書き言葉で話すことを要求することはできません。これはまだ十分スマートではありません。羅永浩氏が演説で述べたように、電話に向かって毎回「誰それに電話してください」と書き言葉で言うのは非常に恥ずかしいことだ。

人工知能のこの段階はエキスパートシステムと呼ばれます。エキスパートシステムが成功するのは容易ではありません。一方で、知識を要約することは困難であり、他方では、要約された知識をコンピュータに教えることは困難です。まだ混乱していて、パターンがあるように感じてもそれを言葉で表現できない場合、プログラミングを通じてそれをコンピューターに教えるにはどうすればよいのでしょうか?

4. 忘れてください。教えられないなら自分で学んでください

そこで人々は考えました。機械は人間とはまったく異なる種族なのだから、機械に自ら学習させればよいのでは、と。

機械はどのように学習するのでしょうか?機械の統計能力は非常に強力であるため、統計学習に基づいて、大量の数字から特定のパターンを確実に発見できるようになります。

実際、エンターテインメント業界には次のような良い例があります。

あるネットユーザーが、中国本土の有名歌手がリリースしたアルバム9枚から117曲の歌詞を数えた。同じ単語は歌の中で 1 回だけカウントされます。上位 10 個の形容詞、名詞、動詞を次の表に示します (単語の後の数字は出現回数です)。

ランダムな数字の列を書き、その数字の順番に形容詞、名詞、動詞から単語を取り出してつなげるとどうなるでしょうか。

たとえば、円周率が 3.1415926 の場合、対応する単語は、strong、road、fly、freedom、rain、haze、confused です。少しの接続と磨き:

強い子供は、雨に混乱を吹き飛ばされながら、道を進み続け、翼を広げて自由に向かって飛び立ちます。ここでビッグデータを学びたい学生がたくさんいると思います。ビッグデータ学習グループ: 957205962 をダウンロードすると、体系的なビッグデータ学習チュートリアルのセットを無料で入手できます。

何か感じますか？もちろん、真の統計ベースの学習アルゴリズムは、この単純な統計よりもはるかに複雑です。

ただし、統計学習では単純な相関関係を簡単に理解できます。たとえば、ある単語と別の単語が常に一緒に表示される場合、2 つの単語は関連しているはずです。しかし、複雑な相関関係を表現することはできません。さらに、統計手法の式は非常に複雑であることが多いです。計算を簡素化するために、計算の難易度を軽減するためにさまざまな独立性の仮定が頻繁に行われます。しかし、現実の世界では、独立した出来事は比較的稀です。

5. 脳の働きをシミュレートする

そこで人間は、機械の世界の観点から人間の世界がどのように機能するかについて考え始めました。

人間の脳は、大量のルールを保存したり、大量の統計データを記録したりすることはできません。代わりに、それはニューロンの刺激を通じて達成されます。各ニューロンには他のニューロンからの入力があります。入力を受け取ると、他のニューロンを刺激する出力が生成されます。その結果、多数のニューロンが互いに反応し、最終的にさまざまな出力結果が形成されます。

たとえば、美しい女性を見ると、瞳孔が広がります。これは、脳が体型に基づいてルールベースの判断を下すからではなく、人生で見てきたすべての美人を数えるからでもありません。むしろ、それはニューロンが網膜から脳へ、そして再び瞳孔へと刺激されるからです。このプロセスでは、各ニューロンが最終結果でどのような役割を果たすかをまとめるのは実際には困難ですが、いずれにしても役割を果たします。

そこで人々はニューロンをシミュレートするために数学的な単位を使い始めました。

このニューロンには入力と出力があります。入力と出力は数式で表されます。入力は、その重要度（重み）に応じて出力に影響を与えます。

つまり、n 個のニューロンがニューラル ネットワークのように相互に接続されます。数値 n は非常に大きくなる可能性があります。すべてのニューロンは多数の列に分割でき、各列には多数のニューロンが配置されます。入力に対する各ニューロンの重みは異なる可能性があるため、各ニューロンの式も異なります。人々がこのネットワークに何かを入力するとき、人間にとって正しい結果が出力されることを期待します。

たとえば、上記の例では、単語 2 を含む画像を入力し、出力リストの 2 番目の数字が最大になります。実際、機械の観点から見ると、入力された画像に 2 が書かれていることはわかりませんし、出力される一連の数字の意味もわかりません。人々が意味を理解している限り、それは問題ではありません。ニューロンの場合と同様に、網膜が美しい女性を見ていることも、はっきりと見えるように瞳孔が拡張していることも知りません。とにかく、美しい女性を見ると瞳孔が開き、それで十分です。

どのニューラル ネットワークでも、入力が 2 の場合、出力が必ず 2 番目に大きい数値になるという保証はありません。この結果を確実に得るには、トレーニングと学習が必要です。結局のところ、美しい女性を見たときに瞳孔が広がるのは、長年にわたる人類の進化の結果なのです。学習プロセスは、大量の写真を入力し、結果が期待どおりでない場合は調整することです。

どうやって調整するのですか？つまり、すべてのニューロンのすべての重みがターゲットに向けて微調整されます。ニューロンと重みが非常に多いため、ネットワーク全体によって生成される結果がこれかあれのいずれかになる可能性は低くなります。代わりに、結果に向けて少しずつ進歩し、最終的に目標の結果に到達します。

もちろん、これらの調整戦略は依然として非常に熟練しており、アルゴリズムの専門家が慎重に調整する必要があります。人間が美しい女性を見たとき、最初は瞳孔が十分に開いてはっきり見えないので、美しい女性は他の誰かと逃げてしまうのと同じです。次の学習の結果、鼻孔ではなく瞳孔が少し拡張することになります。

6. 意味が分からないが、実行できる

それほど合理的ではないように聞こえますが、実行可能です。すごくわがままですね！

ニューラル ネットワークの普遍定理は、次のように述べています。誰かが複雑で奇妙な関数 f(x) を与えたとします。

この関数が何であれ、あらゆる可能な入力 x に対して、ニューラル ネットワークの出力である値 f(x) (または正確な近似値) を持つニューラル ネットワークが存在することが保証されます。

関数が法則を表す場合、その法則がどんなに奇妙で理解しがたいものであっても、多数のニューロンと多数の重みの調整によって表現できることを意味します。

7. 人工知能の経済的説明

経済学を思い出して理解しやすくなりました。

私たちは、それぞれのニューロンを社会の中で経済活動に従事する個人として捉えています。したがって、ニューラルネットワークは経済社会全体に相当します。各ニューロンは社会からの入力に対して重み調整を行い、給与の増加、野菜価格の上昇、株価の下落など、対応する出力を生成します。何をすべきか、自分のお金をどう使うべきか。ここにはルールはないのですか？あるはずですが、具体的なルールは何ですか?わかりやすく説明するのは難しいです。

エキスパートシステムに基づく経済は計画経済です。経済法則全体の表現は、各経済人の独立した決定を通じて表現されるのではなく、むしろ専門家の高度な視点と先見性を通じて表現されることを望んでいます。しかし、どの都市に甘い豆腐脳が欠けているかは専門家でも決して分からないだろう。

そのため、専門家は、鋼鉄や饅頭をどれだけ生産すべきかは、人々の生活の実際のニーズからかけ離れていることが多いと指摘する。たとえ全体の計画が何百ページにもわたって書かれていたとしても、人々の生活の中に潜む小さなルールを表現することは不可能です。

統計に基づくマクロ制御の方がはるかに信頼性が高いです。統計局は毎年、社会全体の雇用率、インフレ率、GDPなどの指標を集計します。これらの指標は、多くの場合、正確に表現することはできませんが、比較的信頼性が高い多くの内部法則を表しています。

ただし、統計ベースのルールの概要は比較的大まかです。たとえば、エコノミストがこれらの統計を見ると、住宅価格が長期的に上昇するか下落するか、長期的に株式が上昇するか下がるかを要約することができます。たとえば、経済が全体的に上昇した場合、住宅価格と株の両方が上昇するはずです。ただし、統計データに基づいて、株式と価格のわずかな変動を要約することは不可能です。

ニューラルネットワークに基づくミクロ経済学は、経済法則全体を最も正確に表現したものです。誰もが社会でのインプットに独自の調整を行っており、調整もインプットとして社会に供給されます。株式市場の微妙な変動を想像してみてください。これは、各独立した個人が継続的に取引した結果であり、従うべき統一されたパターンはありません。

誰もが社会全体の入力に基づいて独立した決定を下します。特定の要因が複数回訓練されると、それらは巨視的な統計法則も形成します。これは、マクロ経済学が見ることができるものです。たとえば、大量の通貨が発行されるたびに、住宅価格は最終的に上昇します。繰り返し訓練すれば、人はそれを習得するでしょう。

8。人工知能にはビッグデータが必要です

ただし、ニューラル ネットワークには非常に多くのノードが含まれており、各ノードには多くのパラメーターが含まれています。パラメーターの量全体が大きすぎ、必要な計算額が大きすぎます。しかし、それは問題ではありません。複数のマシンの力を収集して一緒に計算できるビッグデータプラットフォームがあり、限られた時間で望ましい結果を得ることができます。

スパムの識別、ポルノの暴力的なテキストや写真の識別など、人工知能ができることはたくさんあります。これも3つの段階を経ました。

• 最初の段階では、キーワードのブラックリストとホワイトリスト、およびフィルタリング技術を利用して、ポルノや暴力的な単語を識別します。このオンライン言語が増加するにつれて、言葉は絶えず変化しており、このレキシコンを絶えず更新することを心配するには少し多すぎます。

• 第 2 段階では、ベイズ フィルタリングなどのいくつかの新しいアルゴリズムに基づいています。ベイズアルゴリズムが何であるかを知る必要はありませんが、この名前は聞いたことがあるはずです。これは確率ベースのアルゴリズムです。

• 第3段階は、ビッグデータと人工知能に基づいて、より正確なユーザープロファイリング、テキスト理解、画像理解を行うことです。

人工知能アルゴリズムは主に大量のデータに依存しているため、これらのデータは特定の分野（電子商取引や電子メールなど）で長期間蓄積する必要があることがよくあります。データがない場合、人工知能アルゴリズムでさえ役に立たないでしょう。したがって、人工知能プログラムは、顧客がそれを使用できるように、以前のIAASやPAASなどの顧客に一連の人工知能プログラムをめったにインストールすることはめったにありません。顧客は個別のセットをインストールしており、顧客はトレーニングに関連するデータを持っていないため、結果は非常に貧弱です。

ただし、クラウドコンピューティングメーカーは多くの場合、大量のデータを蓄積するため、クラウドコンピューティングメーカーのセットをインストールしてサービスインターフェイスを公開します。たとえば、テキストが黄色と暴力を伴うかどうかを特定する場合は、このオンラインサービスを直接使用してください。この形式のサービスは、クラウドコンピューティング、SaaS（サービスとしてのソフトウェア）のサービスとしてソフトウェアと呼ばれています

その結果、人工知能プログラムは SaaS プラットフォームとしてクラウド コンピューティングに参入しました。

5。3つの関係に基づくより良い生活

最後に、クラウドコンピューティングの3人の兄弟、つまりIaas、Paas、Saasが集まっています。したがって、一般的にクラウドコンピューティングプラットフォームでは、クラウド、ビッグデータ、および人工知能が見つかります。ビッグデータ会社は大量のデータを蓄積しており、いくつかのサービスを提供するために人工知能アルゴリズムを使用します。人工知能会社は、ビッグデータプラットフォームのサポートなしではできません。

したがって、クラウドコンピューティング、ビッグデータ、および人工知能がこのように統合されると、遭遇、知人、理解のプロセスが完了します。

5Gと産業用インターネットの関係は、主にアクセス層に集中しています。

高い接続レート、超低ネットワークレイテンシ、大規模なターミナルアクセス、および高い信頼性はすべて5Gの利点です。これらの利点は、既存の工場のIoT通信技術、特にWi-FiやBluetoothなどの短距離通信技術に代わる5Gに非常に役立ちます。

ネットワークアクセスのために以前は利用できなかったいくつかのシナリオは、5Gのサポートで実行可能になりました。

たとえば、高精度ロボットアームの機械加工。 5Gを使用してロボットアームをリモート制御すると、遅延が1MSに短縮され、機械加工精度の要件を満たすことができます。

5Gロボット

また、5Gの超高帯域幅もあります。これは、4K/8K機器の監視画像を収集する際にかけがえのない役割を果たします。アクセスレイヤーに加えて、5Gスライスとエッジコンピューティングは、産業用インターネットの分野で適切なアプリケーションシナリオを見つけることができます。

産業用インターネットおよびクラウドコンピューティング、ビッグデータ、人工知能

クラウドコンピューティングと産業インターネットの関係は何ですか？

工場が1つだけで、機器が非常に少ない場合は、工場にいくつかのサーバーを置き、LANを構築し、この小さな産業ネットワークを管理および維持するためのいくつかのエンジニアを見つけます。

このネットワークは小さすぎて、インターネットではなく産業用LANとしか呼ばれません。

しかし、それが数十の工場、数百のワークショップ、そして数万の生産機器であるとしたらどうでしょうか？明らかに、現時点ではクラウドコンピューティングテクノロジーを使用する必要があります。

クラウドに行くことによってのみ、強力なコンピューティングパワー、ストレージパワー、ネットワーク帯域幅を持ち、そのような巨大なシステムを管理できるようになります。

クラウドコンピューティングを通じてのみ、より多くの企業の従業員とマネージャーにアクセスし、産業用インターネットに使用できます。また、開発者に、より良いアプリケーションを設計するためのスペースを増やすことができます。

クラウドコンピューティングは、企業間、工場とサプライチェーン間、および工場とディーラー間のインターフェイスを提供して、指定されたデータを共有することもできます。

工場と最終消費者ユーザーの間にインターフェイスを提供することもでき、ユーザーが製品のパーソナライズを簡単にすることができます。

ビッグデータを見てみましょう。

以前にデータについて話してきましたが、データとビッグデータは異なります。

誰もが知っているように、ショッピングデータ、旅行データなど、消費者のモノのインターネットのビッグデータは非常に大きいです。実際、産業用インターネットによって生成されるデータの量は、消費者のインターネットのそれをはるかに上回っています。

たとえば、30分以内にボーイング航空機のエンジンによって生成されたデータは10TBであり、通常のデスクトップの2TBハードドライブでは、5元をインストールする必要があります。

[[358123]]

データは金鉱山であり、産業用インターネットのビッグデータは非常に大きな金鉱山です。

ビッグデータテクノロジーを通じて、生産や製造物ロジスティクスなどのすべてのプロセスのデータを保存および分析して、データ値を調査できます。

人工知能と産業インターネットの関係は何ですか？

実際、早くも10年以上前に、私たちが赤いアラートを演奏してコンピューターと戦うことを選んだとき、私たちは人工知能と戦っているだけではありませんでしたか？しかし、当時の人工知能は、非常に主要で非常に「インテリジェントな」知性でした。ゲーム開発者によって設定された固定プログラムフローに従うだけで、最初に何を作成し、次に何を作成し、最終的に攻撃します。

今日の人工知能は、学習速度が高くなり、より高度なアルゴリズムがあり、アルファゴになりました。勝つことはほとんど不可能です。

産業用製造への人工知能の導入は、実際に人工知能を、調達、物流、販売プロセスなど、工場の管理と製造生産プロセス全体を管理するのに役立つエージェントとして機能することです。

人工知能の継続的な進化に伴い、産業インターネットシステムは、労働条件、技術の自己学習、機器の自己解明、システムの自己組織の自己認識を実現します。

これは、最高レベルのインテリジェント製造です。

産業用インターネットの現在の開発状況

産業用インターネットプラットフォームは、産業用インターネットの中核です。率直に言って、それは産業用インターネットの「オペレーティングシステム」です。

AppleのiOSシステムとGoogleのAndroidシステムが消費者インターネットをしっかりと制御するのと同じように、産業用インターネットの最高の「オペレーティングシステム」を提供し、ほとんどの人が産業インターネットの開発においてイニシアチブを持つ人を使用します。

しかし、長年にわたって産業インターネットの開発にもかかわらず、これまでのところ、絶対的な主要な位置を占めるプラットフォームはなく、本当の成功を達成したプラットフォームはありませんでした。

理由は面白いです -

このような強力なプラットフォームを提供できる企業には、強力な産業製造能力を備えた企業または強力な情報技術能力を備えた企業のいずれかを提供できる企業が2種類しかなければなりません。

たとえば、米国のゼネラルエレクトリック、ドイツのシーメンスは前者に属します。世界で最初の産業クラウドプラットフォームであるPredixは、2015年にGeneral Electric Corporation（GE）によって公式にリリースされました。2番目のプラットフォームはMindsphereで、2016年4月にドイツのシーメンスによってオープンしました。

論理的に言えば、これらの企業は非常に素晴らしく、彼らが作るものはもちろん非常に良いです。ただし、産業用インターネットには大きな機能があり、パーソナライズです。

各企業は、さまざまなもの、プロセス、プロセス、機器、チャネル、さらにはビジネスモデルやサプライチェーンを生産しています。

ユニバーサルプラットフォームを構築することは可能ですか？

成功するには、非常に詳細な分析を実行してからモデル化し、最終的に開発する必要があります。つまり、高度にカスタマイズされています。

一部の業界関係者は、かつて従来の消費者IoTプラットフォームの開発の3つのステップは2：3：5であると言っていました。産業用インターネットプラットフォームは、5：3：2の正反対です。

産業用インターネットプラットフォームプロジェクトの場合、シナリオと需要分析に多くの時間を費やして、それがどのように機能するかを理解する必要があります。

一般的なプラットフォームを使用して、さりげなく変更しますか？うそだ！

現在、産業用インターネットプラットフォームは完全な格闘状態にあります。大企業はそれをします、中小企業はそれをします。多くの大規模な製造会社は独立した子会社をインキュベートしますが、代わりに専門分野でうまくやります。

また、専門的な知識を持って優れたプラットフォーム製品を作成したインターネットスタートアップもいくつかあります。

この乱闘状態では、グローバルな産業用インターネットプラットフォーム市場は急速に成長しています。

調査会社Marketsandmarketsの統計によると、2017年の世界的な産業用インターネットプラットフォーム市場規模は25億7000万米ドルであり、2023年には138億2,000万米ドルに成長すると予想されています。

米国、ヨーロッパ、アジア太平洋地域の3つの地域は、産業用インターネットプラットフォームの開発のための焦点です。

米国の代表者は、GE、Microsoft、Amazon、PTC、Rockwell、Cisco、Emerson、Honeywellなどの巨大な企業です。ヨーロッパの代表は、シーメンス、ABB、ボッシュ、シュナイダー、SAP、その他の会社です。

中国にはもっとあります。 Aerospace Cloud Network、Haier、Shugen Internet、Baoxin、Petrochemical Yingke、Ufida、Sowei、Alibaba、Huawei、Inspur、Unigroup、Oriental Guoxin、Jiyunなどは、比較的早く開始されたすべてのプラットフォーム開発会社です。

国内の産業インターネット産業技術システム - 中国情報協会のコミュニケーション技術

この近接は続きます。誰が目立つことができるかは、時間しか答えを教えてくれません。

産業用インターネットのボトルネック

産業用インターネットの未来は美しいですが、先の道は滑らかではありません。最も重要なデータセキュリティの問題など、多くの問題や障害がその前に配置されています。

データセキュリティに関する企業の懸念は、クラウドに行くことに対する熱意に深刻な影響を与えています。彼らは、彼らのコアデータが十分に保護されていないことを恐れており、一度漏れると、結果は悲惨になります。

データセキュリティを保護するには、プラットフォームが信頼できるテクノロジーを持つためだけでなく、会社自体が優れたソフトウェアとハ​​ードウェア環境と管理レベルを持つ必要があります。

多くの中国企業にとって、インフラストラクチャは後方であり、資金と技術は限られています。産業用インターネットを「迅速に達成」することは実際には非現実的です。アカデミックのウー・ヘアンが言ったように、一部の企業は内部データを完全に共有することはできず、外部のデータはもちろんもはありません。

さらに、産業用インターネット基準の欠如とエンタープライズICTの才能のトレーニングが不十分なことはすべて、産業インターネットの前進開発に対する障害です。

私たちの国だけでなく、海外に進むことには多くの困難があります。前述のGE General Electricが前述したように、GE Digital（GE Digital Group（GE Digital Group）でのパフォーマンスが低いため、そのエクイティの一部を販売しました。

したがって、産業用インターネットの開発と普及を促進することは、全世界が直面する一般的な問題であり、長い道のりがあります。