ビッグデータは本当にクラウドコンピューティングへの道を急速に進んでいるのでしょうか?

ソフトウェア スタートアップの AtScale は、昨年末に毎年恒例のビッグ データ成熟度調査 (旧称「Hadoop 成熟度調査」) を発表し、ビジネス インテリジェンス ビッグ データが最優先事項であり、クラウド コンピューティングの急速な発展段階の真っ只中にあり、データ ガバナンスがますます注目されていることを示しました。

このレポートとその調査結果は、自動車、テクノロジー、エンターテインメント業界で Apache Hadoop やその他のビッグデータ技術を使用している大企業の代表者で構成される ODPi ユーザー諮問委員会 (UAB) の最近の会議で主要な議論の話題となりました。 ODPi UAB は、レポートで提起されたデータ ガバナンスの問題の増大に強く同意します。ビッグデータへのセルフサービス アクセスとそのセルフサービスのガバナンスは、人々の心に本当に響きます。業界の専門家は、ますます多くのデータ サイエンティストが IT 部門ではなくビジネス部門に所属しているという事実を反映して、セルフサービス アクセス ポリシーの推進に人員を活用するという概念について議論しました。グループは、ガバナンスとセキュリティ制御のみを保持する現在の IT の状態は費用対効果が低く、自律性が使用の拡大を支援する戦略になり得ることに同意しました。

クラウドにおけるビッグデータに関して、ODPi UAB はハイブリッド クラウド モデルに将来性を見出しています。同社は、今後 3 年間でクラウド コンピューティングの導入がさらに進むと考えていますが、既存の投資を完全に置き換えるのではなく、その投資を基に構築していく予定です。さらに、ODPi UAB は、需要の拡大と規制へのより適切な準拠を支援するために、既存の中央処理をローカル処理ノードで補完することを検討しています。現在、UAB メンバーはクラウドへの完全な拡張はコストがかかりすぎると考えています。しかし、IoT データ自体で実行されるユースケースが増え始めると、クラウド コンピューティングはより興味深いものになるでしょう。

[[207721]]

ODPiUAB の説明の後、企業独自の使用モデルに戻ります。この記事では、これらの使用パターン、ODPiUAB が提供する洞察、Hadoop とビッグ データにおけるクラウド コンピューティングの役割に関する当社の経験について説明します。プレプロダクション Hadoop とプロダクション Hadoop には明確な違いがあります。

表 1 は、企業での使用法の変化に応じて Hadoop を運用する際の主な違いをまとめたものです。

AtScale の報告によると、回答者の 73% が本番環境で使用しており、これは 2015 年の同時期から 8% 増加しています。調査機関 Gartner のビジネス調査レポートでは 15% を超えています。数字にこれほど大きな差があることから、業界内での展開フェーズのベースライン定義が明確でないことは明らかです。 UAB と ODPi のメンバーは、この詳細な展開が市場に正確に一致すると信じて、ここで提案しました。

エンタープライズ Hadoop の展開継続性

連続体のどこに当てはまるかをマッピングすることで、生産使用状況をより客観的に把握できるようになります。

ビッグデータ分析のためのクラウドコンピューティング

回答者の 72% がクラウドにビッグデータを実装する計画を示しましたが、より深い分析により、いくつかの重要なニュアンスが明らかになる可能性があります。 「さらに掘り下げると、次のような質問も寄せられます。オンプレミスのアプリケーションと IT とクラウドの比率はどれくらいですか? ビッグ データのオンプレミスとクラウドの比率はどれくらいですか? そして最後に、実際の生産のうちクラウドで行われている割合はどれくらいですか? おそらく、その割合はもっと小さいでしょう」と、UAB のメンバーである Seagate Technology のエンタープライズ分析担当ディレクター、ニコラス バーグ氏は語ります。

ODPiUAB の別のメンバーは、「多くの企業がクラウドで概念実証 (POC) テストのみを実施し、社内データセンターで実稼働環境の展開をまだ行っていると思います」とコメントしました。 UAB は、ここでの主な推進力は、IT がリスクとコストを最小限に抑える必要があるという認識であると考えています。

ここで、クラウド コンピューティングにおける最大の未解決の問題であるコストについて考えてみましょう。クラウド コンピューティング ベンダーは長年にわたり、「コストと複雑さを軽減するにはクラウドに移行する」、「サーバー調達の資本支出を回避するにはクラウドを活用するだけ」などの主張をしてきました。しかし、ODPiUAB が特定した要因の 1 つは、ビジネスの規模が拡大するにつれてクラウド コンピューティングのコストが高くなることです。

ODPi UAB のメンバーの 1 人が自身の経験について語り、次のように述べています。「最近、私たちは、人々が入出力データ量について話しているときではなく、数字がうまく機能しない理由についてコスト分析を行いました。クラウド プロバイダーのコストが本当に急騰し始めるのはそこなので、企業がクラウドに完全に移行したときには、数字は機能しません。そのため、私たちはまだ実験目的で検討していますが、人々がクラウドに完全に移行したり、大量のシステムをクラウドに移行することを検討したりできるとは思えません。クラウドは小さなサブセットには機能し、企業が望む場合は集約することもできますが、長期保存を試みると、コストが急速に増加することがわかりました。」

これは、ODPi UAB メンバーが、コストが下がらない限り、クラウド内の Hadoop とビッグ データは消滅すると考えていることを意味しますか?もちろん違います。彼らにとって問題なのは、クラウド コンピューティングのシナリオに関する説明が、常に「両方」ではなく「どちらか一方」の議論として組み立てられていることです。

クラウド コンピューティング: IoT データのユースケース

ODPi UAB のメンバーは、IoT データのユースケースを共有しました。「企業が特定の問題の解決を検討し、さまざまな領域からクラウドにデータを移動して処理する場合、クラウド コンピューティングがより理にかなっていることが分かります。これは、モノのインターネットについて話し始めると特に当てはまります。企業は、すべての IoT データを自社のデータ センターで実行したいと本当に思っているのでしょうか。説明されているユースケースを見ると、自社のデータ センター内のすべてのデータが、量と合法性の両面で問題に直面することが分かります。たとえば、ドイツなどの一部の国では、データ センターがこれらの国に構築されていない限り、問題が発生するでしょう。」他の専門家もこの見解に同意している。 「クラウドも課題だと考えている。特に世界中にオフィスを持つグローバル企業として、すべての国や地域にデータセンターを構築したくないのであれば、クラウドコンピューティングは良い選択肢だ」と同氏は語った。

上記の ODPi UAB のフィードバックすべてから、クラウド コンピューティングは今後も Hadoop とビッグ データの不可欠な部分であり続けるものの、組織のコストと効率のニーズに合わせて調整されることは明らかです。言い換えれば、他のテクノロジーがクラウドに移行するのと同様に、最も現実的な答えは、多くの場合、何らかの形のハイブリッドにあります。 「時間が経つにつれて、Hadoop がクラウドでより広く利用できるようになるとともに、コスト構造がより合理的になれば、状況は変化し始めると思います」とバーグ氏は語った。 「それは起こると思います。時間の問題です。おそらく、何らかのハイブリッド展開は常に行われるでしょう。時間の経過とともに経済性と使用事例が改善されるにつれて、クラウドの使用率はおそらく高まるでしょう。」

次の大きな出来事

人々はこの業界、そして率直に言ってこの世界に生きています。そして、次の大きなものを求めることが、この業界の人々の成長と発展への欲求を刺激します。業界の先駆者たちは、完璧は決して達成できないことを認識し、常に完璧を目指して努力し、現状を受け入れることを拒否することがよくあります。ビンス・ロンバルディはかつてこう言いました。「完璧は達成不可能だが、完璧を目指して努力すれば、卓越性を達成できる。」

そうは言っても、イノベーションを強化することはめったにうまくいきません。テクノロジーに遅れずについていき、現代生活の課題と機会に対応するために、プロのアスリートのインタビューを聞くと、彼らは常に次に何を達成したいかについて語っています。テクノロジーについても同じことが言えますが、規模がはるかに大きく、人々は必ずしもそれを明確に理解しているわけではありません。