謝文：少し想像力が必要です。9. ビッグデータの時代について語る

2005年に業界でWEB2.0革命が推進されたとき、主に2種類の反応があったことを覚えています。一つのグループはニヒリストと呼べるでしょう。彼らは、この問題を議論することは漠然としており、すぐにお金を稼ぐモデルは存在しないと主張します。一つのグループは停滞グループと呼べるでしょう。彼らは、この問題を議論することには何も新しいことはなく、私たちの特定のものはすでに WEB 2.0 になっていると主張します。その後の産業の発展により、これら 2 つの主張の無知と不合理さが証明されました。

業界がビッグデータ時代の到来を主張している今日でも、同じ 2 種類の反応が最も一般的です。ニヒリストは、ビッグデータは謎に包まれており、金儲けの可能性はないと主張する。停滞派は、ビッグデータの何が新しいのか、我々のデータは膨大で、我々のマイニング技術は非常に進んでいると主張します。今後数年間の産業の発展が、これら 2 つの主張の無知と不合理さを証明することになると思います。

真剣に読んだり考えたりすることを好まない人の中には、ビッグデータという言葉を見ると、文字通りに受け止めて、データは大きいに違いないと考え、繰り返し思い出させる必要があるビッグデータの他の基本的な特徴を忘れてしまう人もいます。

ビッグデータの特徴の 1 つは、データの完全性と包括性です。業界の友人の多くがビッグデータについて話すとき、彼らは習慣的に自社の在庫や自社のサービスから直接取得できるものを調べます。インターネットの発展がまだ初期段階にあることを考慮すると、既存のネットワークサービスは単純化され、歪曲され、現実世界の一方的な集中と切り取りであり、その結果得られるデータは乱雑で断片化され、不完全であり、そこに含まれる価値は極めて限られています。この世のあらゆるものがデジタル化され、ネットワーク化されることが可能であり、実際にそうであるということに同意するならば、その結果得られるビッグデータは、インターネット企業が自社のサービスを通じて得たユーザー行動データだけでなく、社会、経済、政治、自然などあらゆる側面に関するデータも含め、完全かつ包括的なものでなければなりません。もちろん、これらのデータはさまざまな企業、機関、政府部門に分散しており、それらを収集して統合することは容易ではありませんが、運用上の困難さによってビッグデータ自体の完全性と包括性が否定されることはありません。今日、ビッグデータ時代の到来が議論されているのは、インターネットの発達により、現実世界がある程度デジタル化され、さまざまな情報端末が普及し、データ取得コストが低下し、完全かつ網羅的なデータが理想だけでなく現実のものとなったためです。

ビッグデータの2番目の特徴は、データのオープン性と公共性です。完全かつ包括的なビッグ データを単一の企業、機関、政府部門が入手することは困難であるため、ビッグ データはオープンなパブリック ネットワーク環境で生成する必要があります。このオープン性と公開性の実現は、多数のオープン ネットワーク プラットフォームやクラウド サービス、および法的にサポートされ社会的に認められた一連のデータ標準と仕様に依存します。データがどれだけ大きくても、閉じたデータや一方向のデータはビッグデータにはなりません。

ビッグデータの 3 番目の特徴は、データの動的かつタイムリーな性質です。天体物理学や理論物理学は、環境生態学、医学、自律技術と同様に、長い間、宇宙からの膨大な量のデータに依存してきました。しかし、これは今日議論しているビッグデータと同じではありません。今日のビッグデータは、歴史的または厳密に管理された環境で生成されるものではなく、インターネットに基づくリアルタイムの動的データです。

したがって、今日私たちが話しているビッグデータは、完全かつ包括的で、オープンかつ公開されており、動的かつタイムリーです。このようなビッグデータは、私たちがこれまで入手して活用する機会がなかったまったく新しい課題であり、将来活用するよう努めるべきまったく新しい戦略的機会でもあります。過去に蓄積された小さなデータがビッグデータである、あるいは過去に蓄積されたデータ処理・活用能力と経験がビッグデータ時代に自然にリードできると考える人がいるとしたら、それは無知か傲慢です。

最近、メディアではビッグデータ分野の進展について多くの報道がなされています。その中の1つは、ビッグデータの性質とその活用の見通しに関する私の意見をよく表しています。ワシントンポストの8月30日号の報道によると、Climate Corporationという新興企業は、今後2年間にわたり、米国の100万以上の地点の気象状況を1日1万回以上シミュレートする予定だという。同社はその後、根の構造と土壌の多孔性に関するデータをシミュレーション結果と組み合わせて、何千人もの農家に作物保険を提供しました。

リモートセンシングによる土壌データの取得は、従来私たちが慣れ親しんできたネットワークサービスによるユーザーネットワーク行動データの取得とは異なり、データの概念が大きく拡張されています。毎日 100 万以上の場所で何千ものシミュレーションが実行され、データ量は膨大かつ動的でタイムリーです。各土地に正確な保険サービスを提供するためには、土地データと一致する農産物先物データ、気候予測データ、国際貿易データ、国際政治軍事安全保障データ、国民経済のさまざまな側面に関するデータ、産業競争データなどが必ず必要になります。このような複雑なビッグデータを基に立ち上げられたビジネスモデルは革新的で、既存の農作物保険の方法と比べて非常に競争力があり、持続可能で拡張可能です。さらに素晴らしいことに、この会社のビッグデータに基づく業務には、高額なネットワーク インフラストラクチャへの投資は一切必要ありませんでした。その代わりに、Amazon のパブリック クラウド サービスを月額数万ドルでレンタルしたのです。

注意深く観察すると、すでにそのような事例がたくさんあることに気づくでしょう。それらはまだ比較的単純で初歩的ですが、問題を説明するには十分です。想像力を働かせれば、これからのビッグデータ時代には、上記のようなイノベーションがあらゆる産業、あらゆるサービス、あらゆる公共経営において生まれる可能性があり、生み出されるサービスやビジネスモデルの可能性は無限大です。既存または存在しないサービスやビジネスモデルと比較すると、サービスはより正確で、コストは低く、利益は高くなります。これは、現在インターネット業界でよく知られている既存のユーザーデータのマイニングではなく、ユーザーのより詳細なグループ化でもなく、既存のデータ技術の普及と応用でもなく、まったく新しい世界、まったく新しいネットワーク地球とデータ地球です。理想的な展望としては、インターネット産業を中核とするビッグデータサービス産業が、今後数十年で世界の経済・社会発展の主な原動力となることが挙げられます。もちろん、特に中国では、必ずしもそうなるとは限りません。インターネット業界の友人たちに野心と想像力がなければ、ビッグデータサービス業界の主力となる少数の企業を除いて、他のほとんどの企業は依然として古いインターネット業界に固執して奮闘し、ビッグデータ時代の伝統的な業界軍の一部となるでしょう。

謝文: 法的基準と事実的基準 - ビッグデータ時代に関する 8 つの講演

謝文：困難と課題の中で新たな道を見つける - ビッグデータ時代に関する7つの講演

謝文：ザッカーバーグの法則 - ビッグデータの時代について語ろう

謝文：ビッグデータの時代には、少しの砂で塔が建てられ、少しの毛皮でコートが作られる

謝文: 新興データサービス業界から見るビッグデータ時代に関する6つの講演

謝文：ビッグデータ時代の産業チェーン再構築に関する5つの講演

謝文：ビッグデータ時代に産業チェーンは大きな再編を経験する

原題：謝文：少しの想像力が必要。ビッグデータ時代についての9つの講演

キーワード: 謝文、少し、想像力、9つの話、大きな数字、時代、覚えている、2005年、業界、ウェブマスター、ウェブサイト、ウェブサイトの宣伝、お金を稼ぐ