クラウドコンピューティングがデータウェアハウスの新たな焦点となる

調査会社IDGが最近発表した調査レポートによると、組織のデータのクラウドプラットフォームへの大規模な移行は2020年に始まったわけではないものの、今年中に急速に進展したという。大多数の組織は、2021 年にクラウド データ ウェアハウスとデータ レイクへの投資を拡大する予定です。ただし、データ管理と ETL を取り巻く多くの問題が残っています。

[[377458]]

調査によると、IT 意思決定者の 77% が、今後 6 ～ 12 か月以内にクラウド データ ウェアハウスに移行するか、既存のクラウド データ ウェアハウスを拡張する予定であることがわかりました。さらに 21% の IT 意思決定者が、今後 24 か月以内にクラウド データ ウェアハウスを拡張する予定です。 IT 意思決定者のわずか 1% が、クラウド データ ウェアハウスを移行または拡張する予定がないと回答しました。

これらの調査数値は、IDG の調査参加者 (ビジネス インテリジェンス、分析、データ サイエンスのディレクターや上級意思決定者) のうち、クラウド データ ウェアハウスを所有しているのはわずか 38% であることを考慮すると、特に顕著です。調査によると、30% の組織がオンプレミスのデータ ウェアハウスを運用しており、23% の組織が非クラウド データ ウェアハウスを使用しています。

2021 年のデータ分析計画に関しては、クラウド コンピューティングがあらゆる規模の組織に大きな影響を与えることは明らかです。たとえば、Snowflake、AWS、Microsoft Azure、Google Cloud、Databricks が提供するクラウド コンピューティング データ ウェアハウスは市場シェアを獲得しています。これらのトップ クラウド データ ウェアハウス ベンダーに加えて、オンプレミス展開用のデータ ウェアハウスを開発するほとんどのベンダーも、この分野で同様の製品を提供しています。

IDG が ETL ベンダー Matillion のために実施した調査によると、クラウド データ ウェアハウスは明らかに急速に成長しているものの、それを使用する予定のユーザーは半数未満です。

IDGの調査によると、クラウドデータウェアハウスの導入が拡大している

調査によると、57% の組織がオンプレミスとクラウド コンピューティング データ ウェアハウスを組み合わせたデータ管理戦略を採用し、22% の組織がマルチクラウド データ ウェアハウス戦略を採用する予定です。クラウド データ ウェアハウス戦略を採用している企業のうち、単一のクラウド プラットフォームを使用している組織はわずか 21% です。

この調査では、過去 10 年間にわたって Hadoop の役割を引き継いできた、無限にスケーラブルで安価なデータ ストアであるデータ レイクに関しても同様の結果が出ています。 IDG の調査によると、現在データ レイクを使用している組織はわずか 16% ですが、56% もの組織が将来的にデータ レイクを使用する予定であり、さらに 26% の組織がデータ レイクの使用を検討していることがわかりました。データレイクの使用を検討していないと回答した組織はわずか 2% でした。

多くの組織が大量のデータをさまざまなクラウド リポジトリに移行していますが、クラウド コンピューティング テクノロジーは、すべてのデータ管理の課題に対する万能薬と見なすべきではありません。 IDG の調査レポートによると、データ分析担当者が分析用の特定のデータ セットを入手するには 1 週間かかります。全体として、ほぼ半分の時間 (45%) が分析用のデータの準備と集約に費やされ、残りの 30% が大規模モデルの探索とトレーニングに費やされました。実稼働環境にデプロイされたモデルの作業に費やされる時間はわずか 25% です。

Matillion 社の製品ディレクターである David Langton 氏は、従来の分析の落とし穴が増えていることに驚きはしていない。 「いくつかの理由から、これを解決するのは難しい」と彼は言った。 「まず第一に、組織が生成できる最も興味深い分析とレポートは、単一のデータ ソースから得られるものではなく、組み合わせて得られるものです。」

同氏は、クラウド データ ウェアハウスは、興味深いデータをグループ化して、ユーザーにとって有益な洞察を生み出すものだと述べました。一部の顧客はオンプレミスでこれを実行した経験があり、クラウド データ ウェアハウスが提供する規模を活用している一方、他の顧客は今まさに取り組み始めている、と彼は述べた。

「私たちはこれまで、これらすべてをオンプレミスで行っていました」とラングトン氏は言う。 「現在、私たちは大量のデータをクラウドに再構想し、再構築し、移行しています。何を達成し、近代化し、新しい方法で実行する必要があるかを理解しているお客様もいます。しかし、これまで一度もそうしたことがない新しいお客様もたくさんいます。」

同氏は、顧客はクラウド リポジトリ内のデータを移動および変換するために、ETL/ELT ツールを多用する選択をしていると述べました。彼は、ベンダーが主に抽出とロードに重点を置き、変換をデータ ウェアハウス ベンダーに任せるという最近の傾向に気づきました。一部の ETL/ELT ベンダーも変換をサポートしていますが、一般的な変換のみを提供します。

Matillion の場合、同社はデータの抽出とロードだけでなく、さまざまなオンプレミスおよびクラウド データ ウェアハウス システムのデータベース内変換もサポートする、フル機能の ETL ツールを提供することを目指しています。さまざまなデータ目的にわたってさまざまなデータタイプを使用できる柔軟性を維持することが、Matillion のサービスの重要な価値であると彼は述べた。

「それが私たちにとっての差別化要因です」とラングトン氏は語った。 「多くの ETL ツール プロバイダーは、データを読み書きする標準アダプターがあり、その中間に当社の変換ロジックがあるため、変換ロジックを 1 回記述するだけで済むという利点があると言っています。当社は、サポートする各ターゲット システムに対して変換ロジックを記述して最適化しています。そのため、すべてをブラック ボックスとして扱うのではなく、Snowflake の推奨方法または Redshift の推奨方法で実行します。すべて同じように機能します。」

さまざまなアプローチがあるため、柔軟性が重要です。一部のデータ ウェアハウスでは、スキーマ オン リード アプローチを使用します (Hadoop はこの方法で設計されています)。一方、他のデータ ウェアハウスでは、データがデータベースに書き込まれるときにスキーマが適用されます。多くのクラウド データ ウェアハウスには、クラウド データ レイクに存在するデータをクエリできるクエリ処理機能が備わっているという事実が、混乱をさらに招いています。 JSON データ型をサポートするさまざまなメソッドについても同様です。通常、SQL 言語を使用してクエリを実行する前に、JSON データ型をフラット化する必要があります。

全体的に、クラウド分析のツールとテクニックは劇的に改善され、顧客が自分にとって何が効果的かを発見するにつれて実験が促進されています。ラングトン氏は、中間で ETL/ELT ツールを使用してデータを定義する顧客には、データ ウェアハウスを簡単に置き換えることができるという利点があると述べました。

「顧客になった後に別のデータ ウェアハウスを試したいと思って、移行して別のデータ ウェアハウスを試す人が増えています」と彼は言います。 「もちろん、移行を支援する方法はあります。しかし、これは組織がこれらの決定に全力を尽くし、多額の投資を行い、数年後には刷新して新しいソリューションを試すことを期待していることを示しています。」