クラウド移行によるデータ資産への悪影響

現在、私たちはクラウドへの大規模なデータ移行の真っ最中です。その主な推進力となっているのは、高度な分析と人工知能の必要性と、それらがもたらす競争上の優位性です。しかし、ビッグデータから利益を得る前に、企業はクラウド内で爆発的に増加するデータ資産を効果的に管理する必要があり、そこが興味深い点だと、クラウド移行戦争で傷ついた経験を持つ Capital One が委託した新しい Forrester レポートは述べています。

Forrester Consulting の新しいレポート「クラウドでの運用には新しいデータ管理モデルが重要」には、北米のデータ意思決定者 157 人を対象にした調査に基づいた興味深い情報がいくつかあります。

まず、クラウド コンピューティングへの移行は、ほとんどの企業ではまだ初期段階にあります。パブリック クラウドが急速に成長しているにもかかわらず、データ意思決定者の約 75% が、自社のデータの大半をクラウドで管理し始めていないと Forrester に回答しています。

調査対象となった企業の半数以上 (56%) が、データを集中管理しており、そのためにはデータ統合および ETL ツールを使用してすべてのデータを単一のデータ サイロに統合する必要があると Forrester に回答しました。報告書によると、19%が分散型データストアを運営していると答えた。

これまで、ほとんどの企業は、データ管理ニーズの大部分を満たすために単一のデータ管理ツールベンダーを使用していました。これは今日でもほぼ当てはまります。しかし、フォレスターによれば、複数のデータニーズに対応するために複数のデータ管理ベンダーを利用する企業の数は、今後24か月で40%近くに急増すると予想されている。

もう一つのデータのハードルは、データが乱雑であることです (ほとんどのデータ アプリケーションでは驚くことではありません)。 Forrester のレポートでは、データ品質の低さ、データのカタログ化の欠如、データの理解の難しさ、データの観測性の欠如といった広範な例が指摘されています。

どの企業も、適切に管理されたデータ資産を望んでいますが、現実は何らかの形でそのプロセスを妨げ、結果としてほとんどの企業がこの部門で苦労しています。 Forrester の報告によると、回答者の 82% が自社のデータ ガバナンス ポリシーがわかりにくいと回答し、80% が大規模なデータ管理に苦労しており、データへの権限と役割ベースのアクセスが不足していることに悩んでいるとのことです。

コストもクラウド データ資産を効果的に管理する上での大きな障壁となります。フォレスターによると、調査対象者の82%がコストの予測と管理は課題だと答えた。 「かつては綿密に計画され予算も組まれていた職場が、今では予測不可能になっている」と報告書は述べている。

最後に、適切な人材とスキルが不足しているため、企業はクラウド データ資産を十分に活用することができません。

Capital One は以前、社内データセンターで約 500 TB のデータを含む Teradata データ ウェアハウスを運用していました。同社は2020年に最後のオンプレミスデータセンターを閉鎖し、現在はAWSとSnowflakeのクラウドを利用して、資産価値約4,200億ドルの50PBのデータレイク/データウェアハウスを運営している。

数万人のユーザーが数百万のクエリを実行するため、企業はビジネスニーズに合わせて拡張できるデータ プラットフォームを求めています。しかし、この無制限のパワーと無制限の計算の結果、データの混乱が簡単に生じる可能性があります。データプラットフォームの提供方法に適切な管理と適切なコスト管理策がなければ、すべてのクレジットが無駄になってしまう可能性があります。

Capital One は、ソフトウェア ベンダーに解決策を求めるのではなく、社内で問題を処理しました。同社は独自のセルフサービス ツールを開発し、ビジネス ユーザーが独自のデータを管理し、必要に応じてコンピューティング リソースをプロビジョニングできるようにしながら、ソフトウェアに組み込まれた「ガードレール」を通じてコスト管理とデータ ガバナンスの要件に準拠できるようにしました。

キャピタル・ワンは、自社が開発したソフトウェアは販売できるほど優れていると考えている。そこで、キャピタル・ワンは6月に、Snowflakeプラットフォーム上で「Slingshot」と呼ばれる初のデータ管理ツールセットをリリースしました。

Slingshot の顧客は、さまざまなツールを切り替えるのではなく、単一の統合スイートを使用してデータ グリッド形式で Snowflake 情報を管理できることを高く評価するでしょう。

データ管理業界に混乱は必要ありませんが、簡素化は必要です。おそらく、垂直的なデータ管理ソリューションを導入している企業は数百社あります。1 つのソリューションはカタログを処理し、1 つは系統を処理し、1 つはデータ品質を処理し、さらにデータ読み込みツールやデータ変換ツールがあります。 Capital One は、データ メッシュの原則に従って、クラウド データ資産と新しい圧縮ソフトウェア ビジネスを管理しています。

クラウドはハードウェアのスケーラビリティの問題をほぼ解決し、あらゆる実用的な目的に無制限のインフラストラクチャを提供します。クラウドでマネージド サービスが利用できることにより、顧客はソフトウェアやアプリケーション フレームワークのメンテナンス業務から解放され、これも大きな利点となります。

こうした拡張の障壁が取り除かれ、顧客がクラウドに集まるにつれて、データ管理とガバナンスに関する新たな課題が浮上し、業界は依然としてそれに取り組んでいます。これは Forrester のレポートでも示されています。 Capital One が考案したソリューションは、データの再集中化とセルフサービスを排除するという古いトップダウン方式ではなく、データの活用、分散化を維持しながら共通のツールとポリシーのセットを使用することを中心に展開され、現在ではデータ メッシュとして知られています。