データセンター業界の新たなトレンド: DevOps から DataOps へ

現在、企業のデータセンターに影響を与えている主要なトレンドをリストアップすると、ほとんどの技術者や技術投資家は、一連の中核となるトレンドにおそらく同意するでしょう。コアトレンドのリストには、クラウドコンピューティング、コンテナと仮想化、マイクロサービス、機械学習とデータサイエンス、フラッシュメモリ、エッジコンピューティング、NVMe、GPU などのテクノロジーが含まれます。これらのテクノロジーは、現在の企業組織のデジタル変革を推進する上で極めて重要です。

しかし、もっと難しい質問は、「次に何が起こるのか？」です。データセンター業界で次に大きなトレンドになると予想される新興テクノロジーやトレンドは何ですか?そして、これらの新しいテクノロジーとトレンドは、ハードウェア市場とソフトウェア市場にどのような影響を与えるのでしょうか?

現在、大企業の間で新たなトレンドが広く注目を集め始めています。これは「DataOps」と呼ばれる実践です。この新しい用語は、ソフトウェア開発 (「dev」) と運用 (「ops」) を統合することを目的として 10 年前に登場した、より有名な「DevOps」の概念に由来しています。 DataOps は DevOps と同じ目標をいくつか共有していますが、今日のデータセンター業界で見られる大きな変化のいくつかをより顕著に体現しています。

DevOpsの概念

まずは DevOps から議論を始めましょう。 DevOps の概念が初めて提案された 2008 年には、アプリケーションの構築と展開のプロセスにおける自動化と再現性を最大限に高めることを目的とした IT プラクティスが説明されていました。ソフトウェア開発者と運用担当者が緊密に連携できれば、アプリケーションをより迅速かつ低コストで構築および展開できるという考えです。この実践の目標には、俊敏性の向上、市場投入までの時間の短縮、継続的なアプリケーション配信が含まれます。

VMware、Docker、Puppet、Chef などの企業はすべて DevOps の波に乗っています。

DevOps バブルの崩壊

ソフトウェア開発者の間では初期の熱狂と興奮が高まっていたにもかかわらず、DevOps は現在停滞しています。 2017 年の調査によると、DevOps はまだ当初の期待を完全には実現できていないようです。この調査で調査対象となった 2,197 人の企業 IT リーダーのうち、DevOps が自社に大きな戦略的影響を与えると評価したのはわずか 17% で、ビッグ データ (41%) やパブリック クラウドのインフラストラクチャ サービス (39%) よりもはるかに低い結果となりました。回答者の 1 人は、DevOps アプローチではデータ集約型アプリケーションが十分に考慮されていないと説明しました。

データの台頭

ほぼすべての業界の組織に影響を与えているトレンドが 1 つあるとすれば、それはビジネス価値を高めるために分析にデータを使用することに重点が置かれていることです。 IDC の調査によると、世界中のデータ量は 1986 年の 3 エクサバイトから 2020 年までに 44 ゼタバイトに達すると予想されています。顧客体験の向上、業務効率の向上、新たな収益源の創出など、データはあらゆる業界の組織に市場での競争上の優位性を獲得する力を与えます。

このデータはなぜ重要ですか?

データの使用が現在企業が採用している破壊的なビジネス モデルの一部になっている場合、データ集約型アプリケーションを管理および展開する方法の検討が、企業組織の IT 実践の中核になっています。 DevOps 方法論が重点を置く軽量アプリケーションとは異なり、組織がデータ集約型アプリケーションについて話し始めると、一連の新たな考慮事項が浮上します。

データ管理の実践は、アプリケーションのライフサイクル全体にわたります。たとえば、データ サイエンスや機械学習アプリケーションの開発には、大量のトレーニング データを使用する必要があります。運用チームによって導入されるアプリケーションも異なります。データ集約型アプリケーションでは、パフォーマンス上の理由からデータの局所性を考慮する必要があります。つまり、データが継続的に生成される場所の近くにプロセスを展開する必要があります。さらに、企業組織内のさまざまなチームがデータを使用する必要がある限り、データへのアクセスは厳格な IT セキュリティ ポリシーによって制御および管理される必要があります。

データ駆動型アプリケーションのための DataOps

これらの新しいデータ中心のコンセプトにより、データセンター業界では DevOps の限界を超えた実践に対する需要が高まっています。つまり、DataOps は、データ集約型アプリケーションの開発と展開に対する柔軟で俊敏なアプローチです。この実践は、企業内の機械学習およびデータ サイエンス チームの開発によって大いに促進されており、企業内のソフトウェア開発者とアーキテクト、セキュリティおよび管理の専門家、データ サイエンティスト、データ エンジニア、運用スタッフ間の緊密な連携が求められます。 DataOps は、データ サイエンス モデルの継続的な展開を可能にしながら、再現性、生産性、俊敏性、セルフサービスを向上させるように設計された、人とプロセスを組み合わせたモデルです。

数千人のデータ サイエンティストを雇用している大規模なエンタープライズ組織との仕事の中で、これらの組織が DataOps をサポートするために使用するインフラストラクチャ、プラットフォーム、ツールの種類がそれに応じて変化していることに気付きました。コンテナや仮想化など、DevOps プラクティスをサポートするために使用される一部のツールは引き続き DataOps の中核を担っていますが、新しい使用が義務付けられる他のテクノロジーもあり、それが次の 10 年間の市場の勝者を暗示する可能性があります。

まず、ツール レベルでは、DataOps の実践には、関連する言語とフレームワーク (Python、R、データ サイエンス ノートブック、Github など) をサポートするデータ サイエンス プラットフォームが必要です。さらに、強力なアプローチは、プロセスのすべての段階で厳格なデータ アクセスおよび管理ポリシーを実施するのに役立つはずです。データ・アズ・ア・サービスまたはセルフサービス型データ・マーケットプレイス・ツールは重要です。

プラットフォーム レベルでは、DataOps には、従来の構造化データだけでなく、新しい非構造化データやストリーミング データ セットなど、大量のデータを管理し、アクセスを提供できる統合データ アーキテクチャが必要です。グローバル データ アーキテクチャにより、データを物理的な場所全体で管理し、コンテナ化されたプロセスを含む幅広いコンピューティング エンジンを使用して処理できます。最後に、データ集約型アプリケーションをサポートするために選択されたプラットフォームは、データの局所性に合わせて最適化される必要があります。

次世代の市場勝者

ソフトウェア業界のベテランであり研究者でもある私は、業界で唯一不変なのは絶え間ない変化であることを知っています。未来を予測できる水晶玉を持っている人は誰もいませんが、次の 10 年間のデータ センターは過去 10 年間のデータ センターとは異なるものになると言って間違いないでしょう。 DataOps は注目に値するトレンドです。企業によるこうした慣行の導入が一般的になるにつれ、テクノロジー市場にもそれに応じた変化が見られるようになると私は予測しています。市場で勝者となるのは、データ集約型アプリケーションの開発と展開を容易にするツールとプラットフォームを提供できる企業です。