ビッグデータとクラウドコンピューティングの衝突

最近、IT 業界の専門家は、関連する会議に出席した際に、隠れたテーマを発見しました。多くの人がクラウドベースのアーキテクチャ（ハイブリッド クラウド）とそれに必要なクラウド管理プラットフォームに焦点を移していますが、カンファレンスのレポートによると、世界中のデジタル データ量の大幅な増加に十分な注意を払っていないことを多くの人が認めています。

ストレージベンダーの PureStorage のプレゼンテーションでは、他の 2 つのベンダーからの 2 つのデータポイントが引用されました。まず、Cisco の 2017 年 6 月のホワイトペーパー「ゼタバイト時代: 傾向と分析」では、インターネット帯域幅の増加が推定されています。第二に、Seagateが委託しIDCが実施した調査レポート「データ時代2025」では、世界のデータ増加の傾向について推測しています。 PureStorage は両社の推論を組み合わせて結論に達しました。下の図の通りです。

PureStorageのレポートでは、世界のデータ増加と世界のインターネット帯域幅増加の矛盾について説明している。

これらの傾向が現実となり、これらの予測が妥当であると信じる理由がある場合、これらの傾向は今後数年間のコンピューティングとデータの状況に大きな影響を与えることになります。そして、クラウド コンピューティングのアプリケーションに特別な影響を与えるでしょう。注: クラウド コンピューティングは現実であり、将来の IT 環境の重要な部分になりますが、IT 部門がそれを万能薬と考える単純な考えは、ドットコム バブルの崩壊を彷彿とさせます。そして人々は結果がどうなるかを知っています。

避けられない問題

いずれにせよ、すべての IT には、データとデータの背後にあるロジックという 2 つの中核要素があります。ビッグデータを使用する人なら誰でも、大量のデータを使用するにはまずデータを処理する必要があること、そして処理を行うと転送のボトルネックが発生してパフォーマンスに重大な影響が出ること、そしてこのロジックの機能が純粋に理論的なものになることを知っています。

データ量が少ない場合でも、遅延によりこれが発生する可能性があります。たとえば、企業がデータベース サーバーをオンプレミスに維持したままアプリケーション サーバーをクラウドに移行することは、理論上は機能するかもしれませんが、アプリケーションがデータベース間のネットワーク遅延の影響を受けやすい場合は機能しません。これは少量のデータの場合に当てはまります。そのため、多くの組織は、ソフトウェアをクラウドに移行できるように、遅延の影響を受けにくくするように適応させようとしています。ただし、データ量が多い場合は、データ処理とデータを近くに配置する必要があります。そうしないと機能しません。企業は、このデータを処理するために大規模な並列処理の必要性が高まっており、大規模なデータの問題を処理する Hadoop やその他のアーキテクチャを導入しています。

今日、世界中のデータ量は飛躍的に増加しています。 IDC の予測が実現すれば、数年後には世界で約 50ZB のデータが保存されることになります。一方、インターネットで伝送されるデータの総容量も増加しているものの、その増加率は緩やかになっています。世界のデータ量が 50ZB に増加するのと同じ期間に、インターネットの総帯域幅は年間 2.5ZB に達するでしょう (シスコの推測が正しければ)。

これら 2 つの推論から導き出される (不合理ではない) 結論は、世界中で利用可能なインターネット帯域幅は、大量のデータを移動する需要に対応するにはまったく不十分であるということです。また、帯域幅の約 80% が現在ストリーミング ビデオに使用されているという事実は無視されています。したがって、企業がコア アプリケーションのレイテンシの問題に対処するためのコードを記述したとしても、データ量が増えると帯域幅の問題が発生します。

さて、この脆弱性は実際に問題となるのでしょうか?このデータの処理または使用がローカルで、つまりデータが保存されているのと同じデータセンター内で行われる場合。しかし、一方ではデータ量が飛躍的に増加し、他方では世界中の業界がクラウド戦略を積極的に推進している状況で、あらゆるタイプのワークロードを、たとえ「サーバーレス」（AWS Lambda など）であってもクラウドに移行することは、まったく極端なアプローチです。

大量のデータの真の価値はそれらの組み合わせから生まれるため、小規模な結果（大規模なデータセットから計算された結果）のみが存在すると想定すると役立つ場合があります。これは、企業の顧客記録と Twitter のデータなど、異なる所有者のデータを組み合わせることを意味する場合があります。そして、これらすべての異なるセットが問題になります。

つまり、人々が目にしているのは、相反する二つの展開なのです。一方で、人々は、最終的には分散データの分散処理に基づくクラウドベースのアーキテクチャへの適応に忙しくしています。一方、人々が利用するデータの量は増加しており、データと処理を 1 つの物理的な場所に統合する必要があります。

それで、これは何を意味するのでしょうか?

Hadoop がアプリケーション アーキテクチャ レベルで実現したことは、世界的にも実現すると予想されます。つまり、膨大なデータ セットが、データの論理的理解にとって魅力的なものとなるでしょう。そして、それらの膨大なデータセットがまとめられます。

たとえば、現在多くの企業がモバイル データの需要を削減する取り組みを行っています。そのため、IoT 分野では、エッジ コンピューティング (センサーやその他の IoT デバイスからのデータのローカル処理) について多くの議論が行われています。もちろん、これは処理もローカライズする必要があることも意味しており、企業がセンサーのグループで大規模な分析設定と同じ計算能力を持つことはないと想定しても間違いではありません。あるいは、自動運転車からのデータは Hadoop クラスターを二度と通過しない可能性が高く、そのようにしてコンピューティングを犠牲にしてデータ トラフィックを最小限に抑えることができるかもしれません。

この問題には別の解決策があります。それは、データ センターとの統合です。データセンターコロケーションプロバイダーが提供するサービスが増加しています。クラウド コンピューティング プロバイダーのサーバーと大規模なクラウド ユーザーのサーバーが一緒に配置され、内部トラフィックを最適化する機能を備えた大規模なデータ センターを提供しています。論理的には、ユーザーのビジネスはクラウド内にあるかもしれませんが、実際にはクラウド コンピューティング サービス プロバイダーと同じ場所にあります。

企業は、論理データを AWS または Azure 上で実行したいだけでなく、データセンターでも実行したいと考えています。企業には独自のプライベート データ レイクもあるため、すべてのデータはローカルで処理され、データの集約もローカルで行われます。しかし、データ センター ホスティングは、データの急激な増加によって生じる帯域幅と遅延の問題に対するもう 1 つの解決策となります。

状況は、これら 2 つの調査報告書で説明されているほど深刻ではないかもしれません。たとえば、すべてのデータの実際の平均変動性は非常に低くなります。一方、企業は古いデータで分析を実行したくありません。しかし、1 つの結論を導き出すことができます。企業がワークロードをさまざまなクラウド プロバイダーに分散できると単純に想定するのは危険であり、特に同時に処理されるデータの量 (企業すべてが自社のデータと Twitter、Facebook からのデータ ストリームを組み合わせようとしている場合、さらには組み合わせによって生成されるさまざまな新しいデータ ストリーム) が大きい場合は危険です。

したがって、企業にとって、データの場所と処理について適切な戦略的設計上の決定を下すことが重要です。