オンプレミスとクラウドデータウェアハウスの長所と短所

データウェアハウスは、ビジネスインテリジェンス (BI) や分析アプリケーション用に大量のデータを取り込み、保存し、処理するために、あらゆる規模の企業で広く使用されています。データウェアハウスは 1990 年代に登場し、成熟した主流のテクノロジーとなっています。しかし、今日データウェアハウスを導入しようとしている企業にとって、それをオンプレミスに配置するかクラウドに配置するかは大きな決断の 1 つです。

他の種類の IT システムと同様に、クラウドデータウェアハウスには、オンプレミスデータウェアハウスと比較して、容易なスケーラビリティ、優れた柔軟性、データベース管理者 (DBA) の日常的な管理作業の軽減など、さまざまな利点があります。しかし、ビジネスごとにニーズと優先順位が異なるため、データウェアハウスの導入を計画する前に、クラウドとオンプレミスのオプションを比較することが重要です。これを支援するために、2 つのアプローチとその長所と短所を示します。

オンプレミスのウェアハウスアーキテクチャとクラウドデータウェアハウスアーキテクチャ

サーバー、オペレーティングシステム、ストレージ、データベースなどの高品質のコンピューティング環境は、大量のデータを使用するアプリケーションの成功に不可欠です。これはデータウェアハウスにも当てはまります。最適なデータウェアハウスプラットフォームを選択するには、IT チームとデータ管理チームが、コアデータベースソフトウェアだけでなく、システム環境全体を評価する必要があります。

従来のデータウェアハウスアーキテクチャは、次の 3 つのレイヤーで構成されています。

最下層には、データウェアハウス自体が含まれるデータベースサーバーがあります。
中間層では、通常、オンライン分析処理 (OLAP) エンジンによって分析用のデータが処理されます。
最上位層は、ビジネスインテリジェンスおよび分析ツールのプレゼンテーション層およびフロントエンドインターフェイスとして機能します。

エンタープライズデータウェアハウスは、企業のすべての業務オペレーションのデータを集中型プラットフォームに保存します。一方、データマートは、特定の部門、ビジネスユニット、またはユーザーグループのデータのサブセットを格納する小規模なストレージシステムです。多くの場合、データウェアハウスアーキテクチャには両方とも組み込まれています。以下は、アーキテクチャを設計するための 2 つの主なアプローチです。この選択は、単に Inmon 対 Kimball と呼ばれることもあります。

トップダウンアプローチ。コンピューター科学者でベンダー幹部のビル・インモン氏によって創設されたこのアプローチは、エンタープライズデータウェアハウスから始まり、そこに保存されているデータセットを使用してさまざまなデータマートを設定します。
ボトムアップアプローチ。テクノロジーコンサルタントの Ralph Kimball 氏は、個別のデータマートを構築し、それを統合してエンタープライズデータウェアハウスを作成するという代替アプローチを開発することで、根本的な変化を実現しました。

クラウドコンピューティングでは、これらの従来の概念を使用して、データウェアハウスベンダーが基盤となるハードウェアとソフトウェアのアーキテクチャをカスタマイズし、さまざまな処理要件を満たすことができます。以下に、クラウドデータウェアハウス製品の代表的な例をアルファベット順に示します。

分析とデータウェアハウス用の自律型データベース。クラウドでデータを分析するための Oracle の主力システムは、Oracle Database と Oracle Exadata コンピューティングプラットフォーム上に構築されています。このシステムは、共有または専用インフラストラクチャに導入できるほか、Oracle の Cloud@Customer サービスを通じてオンプレミスにインストールすることもできます。 Oracle の共有インフラストラクチャは、より伝統的なクラウドコンピューティングサービスですが、専用インフラストラクチャは、独自のコンピューティング、ストレージ、ネットワーク、データベースリソースを備えた完全にプライベートなパブリッククラウド環境を顧客に提供します。
Azure Synapse 分析。 Microsoft のクラウド分析サービスは、サーバーレスの専用リソースモデルを提供し、Synapse SQL と呼ばれる分散 SQL 処理エンジンを使用してデータウェアハウスに対してクエリを実行します。また、ビッグデータ分析エンジンとして Apache Spark が、データストレージとして Azure DataLake Storage Gen 2 も含まれています。このプラットフォームは、複数のノードにワークロードを分散し、コンピューティングリソースをストレージから分離するスケールアウト型超並列処理 (MPP) アーキテクチャに基づいており、顧客は各ノードを個別に拡張できます。
ビッグクエリ。 Google BigQuery は、ほとんどのデータをテーブルに保存する分散型 SQL ベースの MPP 分析エンジンを備えたサーバーレスクラウドデータウェアハウスです。各テーブル列は個別に保存されるため、BigQuery は従来の行ベースのストレージよりも効率的にデータセット全体の個々の列をスキャンできます。 BigQuery は、パーティショニングとクラスタリングの両方を使用して、高パフォーマンスのデータアクセスを提供します。また、マルチクラウドデータウェアハウスの展開もサポートしており、機械学習、予測モデリング、地理空間分析用のエンジンも含まれています。
赤方偏移。 AWS の Amazon Redshift は、クラスターを使用して 1 つ以上のコンピューティングノードをプロビジョニングし、データウェアハウス、運用データベース、データレイクで分析アプリケーションを実行します。 AWS は、サーバーレスオプション、機械学習モジュール、ビジネスインテリジェンス、データ統合、ビッグデータ処理ツールなど、さまざまな他のクラウドサービスとのネイティブ統合を提供します。 BigQuery と同様に、Redshift は各テーブル列を個別に保存します。また、データセットの物理レイアウトを改善することでクラスター全体のクエリ速度を向上させる自動テーブル最適化機能も提供します。
スノーフレーク。ほとんどの競合他社とは異なり、Snowflake のデータウェアハウスシステムは、AWS、Azure、Google Cloud Platform 全体で実行されるように設計されています。 Snowflake は、その処理環境を共有ディスク/共有なしのハイブリッドアーキテクチャとして説明しています。この製品は、中央リポジトリを使用して環境全体でデータを共有し、複数の超並列処理 (MPP) コンピューティングクラスターを使用してワークロードを分離します。クラスター内の各ノードは、データセットの一部をオンプレミスで保存します。完全に管理されたサービスである Snowflake は、データレイク、データエンジニアリング、データサイエンスのワークロードもサポートします。

オンプレミスとクラウドデータウェアハウスの長所と短所

オンプレミスのデータウェアハウスの大きな課題は、企業のデータアーキテクチャと処理要件を満たすハードウェアおよびソフトウェアのコンピューティング環境を導入する必要があることです。ハードウェアサポートチーム、システム管理者、データベースおよびデータウェアハウスソフトウェアベンダーが連携してオペレーティング環境を構築しますが、この環境は複雑であることが多く、管理とサポートを行う専任チームが必要になります。さらに、データストレージとワークロードの増加に対応するためにオンプレミスシステムを拡張すると、コストと時間がかかります。

しかし、クラウドコンピューティングデータウェアハウスは、企業にいくつかの課題をもたらし、IT プロセスの変更を必要とする可能性もあります。ここでは、いくつかの重要な分野における両方のアプローチの長所と短所について詳しく説明します。

（１）費用

当然のことながら、データウェアハウスシステムを社内で導入してサポートするコストは、クラウドコンピューティングプロバイダーから従量課金制でデータウェアハウスシステムをレンタルするコストよりもはるかに高くなります。これは、ベンダーによって完全に管理されるサービスとしてのデータウェアハウス (DWaaS) 環境に特に当てはまります。しかし、既存のデータセンターにすでに投資している企業にとって、クラウドコンピューティングとオンプレミス展開のコスト比較はそれほど単純ではありません。

クラウドプラットフォームの本来のセールスポイントは、IT コストを削減できることでした。しかし、クラウドでアプリケーションを実装する企業は、コスト削減が必ずしもクラウドの主なメリットの 1 つではないことにすぐに気付きます。企業はクラウドデータウェアハウスシステム用のサーバーやソフトウェアを購入する必要がないかもしれませんが、特にデータウェアハウスのワークロードが予期せず増加した場合、クラウドベンダーのコンピューティング、メモリ、ディスクリソースの使用コストが増加する可能性があります。

もちろん、オンプレミスとクラウドプラットフォームを比較する際に IT チームが考慮する必要があるコストはシステムコストだけではありません。環境をサポートするために必要な労働コストも考慮する必要があります。オンプレミスデータセンターの場合、これにはコンピューティングハードウェア、オペレーティングシステム、ディスクストレージ、データベースの管理サポートが含まれます。クラウドデータウェアハウスではサポートコストが完全になくなるわけではありません。たとえば、DWaaS 環境では、データウェアハウスが管理タスクを処理する必要があります。しかし、このコストはクラウドでは通常はるかに低くなります。

見落とされがちな他のコストもあります。パブリッククラウドにデータウェアハウスを導入する企業は、コンプライアンス認証、データセンターの環境制御、エネルギー消費、高可用性と災害復旧の構成、システムの改善などに直接かかるコストを負担する必要がありません。これらのコストはクラウドコンピューティングサービスのコストに含まれており、企業にとっては使用コストが高くなる場合もありますが、クラウドコンピューティングプロバイダーが支払います。

（２）新機能

クラウドデータウェアハウス市場は競争が激しく、クラウドベンダーは機能セットを最大限に活用する必要に迫られています。自社製品を競合他社の製品と差別化するには、継続的に革新し、新機能を統合することが絶対に必要です。その結果、クラウドデータウェアハウスのユーザーは、継続的に提供される新機能や機能を活用できるようになります。

さらに、クラウドコンピューティングプロバイダーはデータウェアハウスシステム全体を担当するため、その顧客は基盤となるコンピューティングインフラストラクチャからデータウェアハウスソフトウェア自体に至るまでの機能強化の恩恵を受けることができます。独自の環境を管理するオンプレミスユーザーの場合、システムのアップグレードや新しいソフトウェアバージョンの展開はより複雑になります。また、オンプレミスのデータウェアハウスソフトウェアでは、ベンダーによって継続的に更新されるクラウドコンピューティングサービスほど迅速に新機能が利用できない場合もあります。

クラウドプラットフォームのもう 1 つの潜在的な利点: 基本的なビジネスとレポート作成の目的でコアデータウェアハウス機能を補完するために、大手クラウドコンピューティングベンダーやその他の競合他社は、データレイク、機械学習、ビッグデータ分析、データパイプライン、高度な分析アプリケーションやその他の機能の開発をサポートする追加のテクノロジを提供しています。

（３）スケーラビリティ

システムのスケーラビリティにより、IT チームは処理ワークロードの増加に対応できるようになります。パフォーマンスのチューニングやソフトウェア構成の更新がシステムスループットにプラスの影響を与えなくなった場合は、ハードディスク、メモリ、コンピューティング能力を追加する必要があります。新しいソースシステムが追加されるにつれてデータの増加に対応するために、データウェアハウスにとってスケーラビリティも重要です。

しかし、オンプレミスのデータウェアハウスプラットフォームを拡張するのは困難な作業になる可能性があります。サーバーに CPU またはメモリを追加する機能がある場合、システム管理者はシャーシを開いてコンポーネントを交換または追加する必要があります。追加の利用可能な容量がないサーバーの場合は、ハードウェアをより大規模なシステムにアップグレードする必要があります。クラスター環境では、サーバーを追加することで水平方向のスケーリングが可能になりますが、ハードウェア、ソフトウェア、および管理のコストがすぐに高額になる可能性があります。

クラウドプラットフォームの主なセールスポイントの 1 つは、スケーラビリティの容易さです。たとえば、Amazon Redshift ユーザーは、環境にノードをすばやく追加して、パフォーマンスを向上させ、ストレージを増やすことができます。 Oracle Autonomous Database は、コンピューティングリソースやストレージリソースを自動的に増やすことができる自動スケーリング機能を提供することで、さらに一歩進んでいます。 AWS と Snowflake は、ワークロードの増加に応じてクラスターの容量を自動的に増やす同様の同時実行スケーリング機能を提供します。

（４）パフォーマンスの監視と調整

データウェアハウスのパフォーマンスを最適化するために、オンプレミスプラットフォームでは通常、IT チームが個別のツールを使用してハードウェア、オペレーティングシステム、データベースを監視する必要があります。クラウドベンダーは、データウェアハウスインフラストラクチャのパフォーマンス監視ツールとアドバイザリユーティリティをカスタマイズできるため、これらのツールはオンプレミスツールよりも包括的な情報を提供することがよくあります。

ただし、標準的なデータベースパフォーマンスチューニングの課題に加えて、クラウドプラットフォームではパフォーマンスの監視とトラブルシューティングに別の側面が加わります。クラウドデータウェアハウスシステムとの間でデータを転送することは、特にデータ量が多く時間が重要な場合には困難になる可能性があります。さらに、クラウドプラットフォーム上にデータウェアハウスを実装する企業は、パフォーマンスに対して完全な責任を負うわけではありません。システムのパフォーマンスに疑問があり、スケーリングがオプションまたはソリューションではない場合は、企業はクラウドプロバイダーと協力して根本原因を特定する必要があります。

さらに悪いことに、クラウドデータウェアハウスシステムでは、リソースが過剰に使用されている場合にワークロードが停止する可能性があります。オンプレミスでもクラウドでも、どのデータベース環境でも、適切に調整されていないクエリがいくつかあるだけで、リソースの消費量が増加します。しかし、クラウドコンピューティングリソースの使用率が継続的に増加すると、組織はより高いパフォーマンス層にアップグレードする必要に迫られる可能性があります。

（５）経営管理

オンプレミス環境では、IT 部門がコンピューティングシステムを完全に制御し、責任を負います。クラウドデータウェアハウスでは、企業はこれらの責任をベンダーと共有します。特に、完全に管理された DWaaS 環境では、企業はデータウェアハウスプラットフォームの管理の所有権の一部を放棄する場合があります。

一部の IT 部門はこれをメリットと見なし、他の部門はリスクと見なしますが、ほとんどの部門はこれをリスクとメリットの組み合わせと見なすでしょう。大手のクラウドデータウェアハウスプロバイダーは、最小稼働率を保証するサービスレベル契約を提供しており、これによりシステムの制御を失うことへの懸念を軽減できます。

（６）安全性

同様に、オンプレミスのデータウェアハウスを導入する企業は、ハードウェアインフラストラクチャからソフトウェアスタックに至るまで、環境全体を保護する責任を負います。しかし、クラウドでは、セキュリティの責任はプロバイダーと共有されます。企業がセキュリティ責任の 100% をベンダーに委ねているわけではないことを理解することが重要です。クラウドセキュリティの責任共有モデルでは、データウェアハウス環境の保護の特定の側面については、引き続き顧客が対応する必要があります。

責任の分担方法はサプライヤーごとに異なる場合があります。また、企業がホスト型 DWaaS 環境を使用しているか、IaaS 環境を使用しているかによっても異なります。IaaS 環境では通常、ベンダーは基盤となる IT インフラストラクチャのセキュリティ保護のみを担当します。ただし、一般的には、IT チームは依然として、データセキュリティ、データ分類、アクセス制御、エンドポイントデバイスのセキュリティなどのタスクを担当します。

標準的なセキュリティのベストプラクティスはオンプレミスとクラウドの両方に適用されますが、クラウドデータウェアハウスシステムを使用する企業は、運用環境を保護するためのコストをクラウドベンダーと分担できます。クラウドコンピューティングベンダーのセキュリティ機能を活用できることももう 1 つの利点です。クラウドプラットフォームのセキュリティを確保するインセンティブが強く、この点に関して多額の投資を行っています。

（７）監査と規制遵守

前述のように、クラウドデータウェアハウスの利点の 1 つは、クラウドベンダーが基盤となるアーキテクチャの責任を負うことです。しかし、これは、社内標準だけでなく業界標準や規制コンプライアンスにも準拠する必要がある企業にとって課題となる可能性があります。

セキュリティと同様に、コンプライアンスは顧客とクラウドコンピューティングプロバイダーの間で共有される責任です。クラウドコンピューティングベンダーは、多くの場合、HIPAA、GDPR、およびその他のコンプライアンスフレームワークに関するサードパーティ監査コンプライアンスレポートと証明書を提供します。ただし、企業はクラウドコンピューティングベンダーと連携して、企業固有の監査ニーズに基づいて必要な裏付けとなる証拠を収集し、データウェアハウスシステムが該当するフレームワークに準拠していることを確認する必要があります。

クラウドコンピューティングサービスを使用すると、必要な証拠を見つけるのに時間がかかるようになるかもしれませんが、企業にとっては、規制遵守コストの一部をクラウドコンピューティングプロバイダーに転嫁することがより重要になる場合があります。

<<: Kubernetes 向けサーバーレスサービスである Amazon Fargate が中国で利用可能に

>>: テンセントの唐道勝氏：オープンソースは産業インターネット時代の新たな生産方式とコラボレーションモデル