DT時代の変化についての考察

DT という言葉はデータ テクノロジーを意味します。これは新しい用語ではないと言えますが、私が本当に注目したのは、Alibaba Research Institute が最近書いた「Internet+: From IT to DT」という本でした。国内IT技術のリーダーとして、アリババの技術的結論は簡単に無視できません！

とりあえず DT は置いておいて、まず IT を見てみましょう。

1936 年のチューリング マシンの発明から 1945 年まで。ノイマンマシンの出現は、コンピュータ開発の礎です。その後のさまざまな大型および小型コンピュータの誕生も、厳密な意味での IT ではありません。IT 技術の本当の始まりは、情報の相互接続時代への突入を示すワールド ワイド ウェブの発明であるはずです。

中国のインターネット技術の発展は他国より数年遅れて始まったが、その発展の勢いは他国をはるかに上回っている。1997年にはインターネット利用者は60万人しかいなかったが、現在では6億人を超えており、その成長率は明らかである。

今やインターネットは、衣食住、交通、さらには政治まで、人々の生活のあらゆる面に影響を与えていると言えます。

今はITの時代です！

おそらくほとんどの人はこの結論に異議を唱えないだろう。しかしある日突然、誰かがこう言います。「人類は IT 時代から DT 時代へと移行している。」

DT時代、データテクノロジーの時代。私たちはすでにデータテクノロジーの時代に足を踏み入れているのでしょうか?どうしてそんなに突然なの？ ！

これは突然のことではなく、すべては予測可能なことです。

DT時代の到来――静かに変化が起こっている

データ サイエンティストという用語は 2009 年に初めて提案されました。もちろん、その提案はセンセーショナルな出来事ではなく、この科学分野の突然の出現に同意しなかった人が多かったとも言えるでしょう。

しかし、ほんの数か月前、誰かがテンセント テクノロジーで「データ サイエンティストは 2015 年に最もホットな職業になるかもしれない」という記事を公開しました。この記事の見解が正しいかどうかについてはコメントしませんが、すでにメッセージが発信されています。データが人々の「警戒心」を喚起したのです。

今では大手求人サイトで「データマイニング」を気軽に検索できるようになり、大手企業や大企業からのこの職種の求人が雨後の筍のように湧き出しています。

同様に、さまざまな求人ウェブサイト プラットフォームを通じて、データ エンジニア、データ分析エンジニア、Hadoop エンジニアなどの新しい職種が絶えず作成されていることがわかります。

データマイニングエンジニアという職種は古くから存在していたかもしれませんが、ビッグデータマイニングエンジニアはどうでしょうか?たった一つの単語の違いですが、含まれる意味は大きく異なります。

これらはプログラマーやエンジニアの視点から見られており、一般大衆の意見を代表していないと言う人もいるかもしれません。

さて、この問題を別の観点から考えてみましょう。しかし、採用の話を続けましょう。私はかつて、ビッグデータ時代の採用モデルについての記事を書き、採用サイトが本当に私たち（求職者）のニーズを「理解」しているかどうかを分析しました。

実際、答えは明らかです。求人サイトを開くと、たまたま応募したい職種が表示されます。映画を開くと、サイドバーにはたまたま同じ種類の映画やたまたま同じ俳優が出演している関連映画が表示されます。オンラインで買い物をすると、下のバーに表示されるのはたまたま必要なものです。

それだけでなく、記事を読んだり、質問を検索したり、オンラインで旅行を予約したり、ニュースを読んだりするときでも、必要な情報が予期しない場所で見つかることがよくあります。なんという偶然でしょう！

これは偶然ではありません！パーソナライズされたカスタマイズは、私たちの生活のあらゆる側面に反映されています。このパーソナリティがいかにユニークであるかについては、今は考えないようにしましょう。従来の情報提示方法と比較すると、確かに効果があることは否定できません。

はい、インターネット上で積極的に情報を求める主体としての人々が「受動的」になり始めていることに私たちは突然気づきました。

昔々、情報は非常に「アクティブ」になりました。しかし、私たちにとってはこれらすべてがとても自然なことのように思えます。

根本的な原因はその背後にあるデータにあります。はい、データが私たちを裏切りました!

突然、少し前に起こった出来事を思い出しました。何らかの理由で、中小企業や小規模企業のグループの連絡先情報が必要です。私たちの従来の慣例によれば、この一連の連絡先情報を入手するには、必ず関連分野の人物を探し、その人たちの関係ネットワークに頼ることになります。

しかし、その分野に親しい友人がいない、あるいはいたとしても連絡先をこれだけ集めるのは不可能だということに、ふと気がつきました。

最終的に、約 3,000 件の企業の電子メール アドレスを取得しました。風が通るときには跡を残し、雁が飛ぶときには音を残します。現代はインターネットが蔓延している時代です。存在が存在する限り、インターネット上には必ず足跡が残ります。私は Zhilian Recruitment をソースとして使用し、クローラー、Web ページ情報抽出、データ分析、マイニングなどの関連テクノロジーを使用して、この一連のデータを取得しました。

この事件で、改めてインターネット上の情報量の広大さと偉大さに驚かされました。情報技術の急速な変化と10年以上の蓄積により、インターネットに含まれる情報は巨大な金の山のようになっています。このような「謙虚な」人がそこから小額の財産を「盗む」ことができるのなら、この広大な地球上の他の何百万もの人々はどうなるのでしょうか?

データは非常に便利になり、その影響力も非常に強力になりました。これらすべての変化はとても自然に、静かに起こりました。

おそらく、ジャック・マーが言ったように、人類は IT 時代から DT 時代へと移行しているのでしょう。

データ処理の需要が劇的に増加する中、データの収益化を支えるものは何でしょうか?

DT時代の骨格：ビッグデータ処理プラットフォームの進化

はい、それはデータ処理プラットフォーム、言い換えれば完全なデータ処理プロセスです。

データの収集、クリーニング、ストリーミングのリアルタイム コンピューティングからデータのランディングまで。ほとんどの場合、この一連のプロセスを完了すると (ストリーミング リアルタイム コンピューティングは行われない可能性があります)、データのオフライン コンピューティングと、一連のモデリングによる暗黙のビジネス価値のマイニングを含む、データ価値マイニングの段階に本格的に移行します。

もちろん、ビッグデータがあらゆるところに存在する今日の世界では、データの収集、処理、マイニングに関しても「ビッグ」という言葉を追加する必要があります。

さて、DT 時代が到来した今日、このプロセスの流れをサポートできるのがデータ プラットフォーム、つまりビッグ データ処理プラットフォームです。

DT時代の到来を支える骨格となるでしょう！

もちろん、ビッグデータ処理プラットフォームは最初から存在していたわけではなく、必然的に一連の進化を遂げてきました。このようにして、今日見られるさまざまな形のデータ プラットフォームが誕生しました。

少し前に、私はstorm-distributed-ITテクノロジーグループで1000人近くの人々とトピックディスカッションを始めました（もちろん、実際にディスカッションに参加した人の数はそれよりはるかに少なく、大勢の人が静かに見守っていました）。ディスカッションの核心は、インターネット企業におけるビッグデータプラットフォームの開発の現状でした。

プログラマー、デザイナー、プロダクトマネージャーなど、さまざまな企業のさまざまな人々が集まり、非常に白熱した議論が展開されました。さまざまな意見があり、それぞれが独自の見解を持っていましたが、全体として、いくつかのビッグデータ プラットフォームの現在の形態については、比較的一貫した見解が得られました。

（１）ビッグデータ処理プラットフォームの究極形：ディープマイニング

データの循環は完璧で、完全な大規模データ収集システム、データ前処理およびクリーニングシステム、データストリーミングリアルタイムコンピューティングシステム、大規模データストレージシステム、大規模オフラインコンピューティングシステムなどが含まれます。包括的なデータ監視およびスケジューリングシステムがあり、データフローを便利かつ低コストで監視およびスケジュールし、データの動的な変化をリアルタイムで把握できます。独自のビジネスニーズを満たす完全な機械学習アルゴリズムライブラリがあり、データマイニングレベルでは、ディープデータマイニングの段階に入っています。

その中でも最も代表的なものが BAT です。中国では、BAT は常にテクノロジーのリーダーであり、データ価値マイニングでもまさに最前線に立っています。

（２）第二に、ビッグデータプラットフォームが整備され、浅いデータマイニングの状態にある。

同様に、このタイプのエンタープライズ企業では、データプラットフォーム上のデータが完全に接続されており、データの収益化を目的として、データの潜在的な価値を活用しようとし始めています。

もちろん、技術的な蓄積の問題や人員・物的資源の不足から、より深い調査や掘削を行う能力はないのかもしれないが、それでも懸命に取り組んできた。彼らに欠けているのは、彼らに適しており使いやすい完全なデータマイニングライブラリです。

CSDN、Qunar、eLongなど、この形態の企業は数多くあり、パーソナライゼーションの道を精力的に模索しています。

（３）データ循環、データ統計分析段階

このタイプのデータセンターでは、基本的に大規模なデータ処理プラットフォームが構築されており、すでにデータの流通が可能であり、大規模データの統計分析の段階にあります。

このタイプの企業は、大量のデータの傾向や変化を保存、集計、分析するためにデータ ウェアハウスを構築する傾向があります。したがって、Hadoop エコシステムに関しては、Hive などのテクノロジーやツールを使用する傾向が強くなる可能性があります。

この形態の企業が大多数を占めており、代表的な例としては、わずか1年前にビッグデータ部門を設立した360社が挙げられます。もちろん、同様の企業は数え切れないほどあります。

企業は、保有するデータの種類とそのデータがどのように変化するかを正確に把握したいと考えています。そのデータを理解し、制御することによってのみ、より適切で合理的なビジネス上の意思決定を行うことができます。

近い将来、データの法則を完全に習得すると、データの潜在的な価値を探求することに向けて取り組むことは必然となるでしょう。

（４）データ統合・プラットフォーム構築段階

この形態では、データはまだ流通しておらず、システム全体もまだ構築されていません。

つまり、従来、多くの企業では、各部門の製品のデータを個別に管理していました。データの複数のコピーを維持する必要があり、コストがかかり、データの使用率が低く、データが接続されていません。

彼らはデータを統合することを意図しており、収集、クリーニング、実装のプロセス一式を備えています。そのため、データ収集、データの明確化、大規模なデータ実装を理解している人材が特に不足しています。もっと簡単に言えば、Hadoop エコシステム プラットフォームを理解している人材が不足しているのです。

キングソフトの西山居や、スマートフォン業界のダークホースである小米科技など、そうした企業は数多くある。

（５）データ量は十分ではないが、ビッグデータ処理プラットフォームを構築する意向は依然としてある

これらの企業のほとんどは小規模な企業であり、データ量の観点から、完全なデータ処理プラットフォームを構築する必要性は緊急にはありません。

ビッグデータの流行の影響もあるのかもしれませんが、長期的に見れば、データ量が増えれば、必ずトレンドになるはずです。

そのため、多くの場合、この分野での予備的な技術研究を実施したり、簡単な小規模データ処理プラットフォームを構築したりするために、少量の人的資源と物的資源を費やします。

実は、簡単に言うと、これらはビッグデータ処理プラットフォームの 5 つの異なる形態ですが、これもビッグデータ処理プラットフォームの進化のプロセスではないでしょうか。 ！

DT 時代が到来した今日、あなたは自分がどこにいるのか、そして将来どこで発展し、変化していくのかを明確に理解していますか?

骨組みが構築されて初めて、データの潜在的な価値をどのように引き出すかについて話すことができるようになります。

DT システムをサポートするには骨が必要なだけでなく、その活力を刺激するために血液を継続的に供給することも必要です。

DT 時代の血: データはどこから来るのか?

はい、これまで多くのことを述べてきましたが、1 つの重要な質問を無視することはできません。それは、データはどこから来るのかということです。

ビッグデータ処理プラットフォームが DT を支える骨組みだとすれば、データは DT の血液です。したがって、血液をどのように生成するかは誰もが関心を持つ問題です。

（１）企業の事業データ

最も直接的なデータソースは、各企業自身が生成したビジネスデータです。一部の企業は先見の明があり、何年も前から独自のデータを収集し始めていたのかもしれませんし、意図していなかったのかもしれません。

しかし、何があっても彼は過去のデータを保存しました。もちろん、十分な速度と量のデータを生成している企業もあるため、この問題を心配する必要はありません。

（２）インターネット上の隠されたデータ

少し前に、友人がグループ内でデータの収集と分析に関するかなり複雑な質問をしました。

おそらく彼の質問は深遠すぎたか、あるいはグループ内に専門家が一人もいなかったのでしょう。要するに、誰もその問題を解くことができなかったのです。

誰かが尋ねました: おい、なぜこれをそんなに深く研究しているんだ?彼はこう答えました。「データをクロールしてください。あなたが調査して処理するデータはインターネットからクロールされたものではないのですか?」

この一文で突然目が覚めました。誰かがすでにインターネットという公共の金鉱を攻撃し始めているのです。

10年以上の基盤にはどれだけのデータの富が隠されているのでしょうか? DT 時代が到来すると、その価値を探求する人は確実に増えるでしょうが、そのためには特定の技術と手段が必要です。

（３）モバイルインターネットデータの急増

インターネットと比較すると、モバイルインターネットの発展の歴史は長くありませんが、その発展は日々変化していると言えます。

現在、スマートフォンの普及と3Gおよび4Gネットワ​​ークの推進により、モバイルインターネットによって生成されるデータは急速に増加しています。

同様に、これは私たちが採掘する必要のあるデータの新たな金鉱です。

（４）従来型データとオフラインデータへのアクセスと統合

首相の「インターネットプラス」という言葉を受けて、伝統的な産業がインターネットと統合し始めました。その最も直接的な影響は、オフラインデータへのアクセスと統合です。

「従来の産業はどれだけのデータを保有できるのか？」と疑問に思う人もいるかもしれません。しかし、伝統産業のデータを過小評価してはいけません。何しろ、伝統産業はインターネットよりもはるかに長い数十年の歴史があり、蓄積されたデータの量を過小評価することはできません。

「インターネット+」のさらなる発展に伴い、オフラインアクセスデータもDT時代の活力の一つとなるでしょう。

（５）インターネットはあらゆるものを繋ぎ、あらゆるものがデータを生成できる

モノのインターネットについて言えば、実は何年も前に普及するだろうと言われていましたが、これまで普及したことはありませんでした。その理由は主に2つあります。1つ目は、モバイルネットワークのコストが高すぎること、2つ目は、端末センシング技術がまだこの段階まで発達していないことです。

しかし、今は状況が違います。3Gや4Gネットワ​​ークの普及により、モバイルネットワークのコストは大幅に低下し、スマート端末センシング技術の急速な発展により、モノのインターネットももはや概念ではなくなりました。

多くのインターネット企業がスマートホーム、スマート交通、スマートシティ、スマートオフィスなど、インテリジェント分野への展開を開始していることがわかります。

DT 時代においては、センサー端末も DT 時代の巨大なデータ生成源であり、血液生成源となるでしょう。

DT 時代が近づいている今、私たちが考えるべきことはデータ処理やデータ取得だけではなく、他にも考慮すべき点が数多くあります。

絶え間ない反省と改善を通じて、DT時代の到来を迎える準備は万端です！

出典：寄稿、著者：Blogchong、著者の公開WeChatアカウント（Blogchong、ID：blogchong）は、最先端のIT技術に注目し、最もホットなITニュースに注目し、最も迷惑な仕事の苦情を共有します！

原題: DT時代の変化を振り返る

キーワード: