インターネットのビッグデータ時代は本当に到来したのでしょうか?それとも、ずっとそこにあったのでしょうか?

（文／ヘブン）最近、WeChatでインターネットビッグデータに関する記事をよく見かけます。ビッグデータは、クラウドコンピューティングやIoTに続き、IT業界におけるもう一つの破壊的な技術革命になっているという人もいます。ヘブンは疑問に思います。インターネットビッグデータ時代は本当に到来したのでしょうか？それとも、ずっと前からあったのでしょうか？実は、データ分析技術の応用はひっそりと始まっています。例えば、タオバオやJD.comなどのショッピングサイトは私たちの買い物習慣を監視し、百度やGoogleなどの検索エンジンは私たちのウェブ閲覧を監視し、新浪微博や騰訊微博は私たちの友人と非常に親しいようで、QQやQQ Spaceはいつでも私たちにそれらの身近な友人を推薦してくれます。しかし、ヘブンは、本当のビッグデータ時代にはまだ程遠いと感じていますが、それはずっとそこにあったのです。なぜそんなことを言うのですか？

1. ハードウェア条件の不完全性：まず、ネットワーク速度の問題があります。ビッグデータの処理には高速な基本ネットワークが必要ですが、ネットワークの混雑は我が国ではよくある現象です。現在のビッグデータ処理の問題を解決するのは難しく、ほぼ不可能です。

2 つ目の理由は、情報を処理するデバイスが少なすぎることです。統計によると、インターネットで 1 日に生成される情報量は約 800EB です。これを DVD に保存する場合は 1 億 6,800 万枚のディスクが必要になり、ハード ドライブに保存する場合は 80 万枚のディスクが必要になります。しかし、このデータを処理するインターネット企業は、デバイスが非常に少ないです。たとえば、百度は北京、山西、内モンゴルに10万台強のデータプロセッサを持ち、70万CPUと4,000台のサーバーを持っています。テンセントのデータプラットフォームには8,400台のデバイスがあり、5,600台が単一クラスターで、総ストレージは100PB以上です。毎日200TB以上の新しいデータが追加され、月間データ増加率は10％、1日平均ジョブ数は100万、1日平均コンピューティング量は5PBです。しかし、テンセントのデータレコードの総数は375兆を超えています。現在の設備では、これらのインターネットデータを完全に正確に処理することは難しいことがわかります。ビッグデータ時代は、現在のデータを完全に処理し、ネットユーザーの動きを正確に特定することができます。したがって、ビッグデータ時代に入るにはまだ時期尚早です。

2. 専門人材が不足：ヘブン氏は、ビッグデータ関連の人材不足がビッグデータ市場の発展に影響を与える重要な要因になると考えている。ビッグデータ処理人材が不足していることは否定できない。国も大手インターネット企業もビッグデータ処理人材の獲得に力を入れている。例えば、2014年5月19日、中国人民大学で、中国人民大学、北京大学、中国科学院大学、中央財経大学、首都経済大学が共同で設立したビッグデータ分析マスターの育成のための共同イノベーションプラットフォームが立ち上げられた。アリババグループは2012年7月10日、「データ共有プラットフォーム」戦略を推進するために最高データ責任者（CDO）を設置すると発表した。これらすべての要因は、ビッグデータ処理の人材が深刻に不足しており、専門的なビッグデータ処理の人材を育成することが急務であることを示しています。

3. データの孤立、それぞれが独自に戦っている：国内インターネットの現状は、3大巨頭BATが互いに戦っている状況です。百度は人と情報を結び、情報の入り口を独占しています。アリババは人と物を結び、取引の入り口を独占しています。テンセントは人と人を結び、ソーシャルの入り口を独占しています。しかし、いずれも自社の入り口を厳しく管理し、データの共有を許可していません。このようにしてビッグデータがどのように実現され、データの一部を使ってネットユーザーの真意を判断できるのか、想像してみてください。そのため、広告を正確に配信できず、ウェブページの関連性が強くなく、インターネットのインテリジェントな開発は困難を極めるしかありません。

ヘブンは、インターネットの本質はユーザーを理解し、インテリジェンスに向かうことであり、ビッグデータの正確な処理はインターネットのインテリジェンスを実現することであり、インテリジェンスを実現するための基礎でもあると考えています。しかし、インターネットビッグデータの処理はまだ初期段階にあります。設備、人材、データリソースの共有など、これらは緊急に解決する必要がある問題です。そのため、真のビッグデータ時代からはまだ遠いです。上記はヘブンの個人的な意見であり、完全なものではありません。皆様のご意見を伺い、一緒に前進していければと思います。

原題: インターネットのビッグデータ時代は本当に来るのか?それとも、ずっとそこにあったのでしょうか?

キーワード: