ビッグデータの 5 つの課題を克服する - クラウドが答えを持っている

組織は、ビッグデータイニシアチブの実装で課題に直面すると、落胆することがよくあります。ビッグデータに関しては、現在、関連技術が不足していること、そのセキュリティ、データの予測不可能性、持続不可能なコスト、ビッグデータプロジェクト専用の関連ビジネスケースを開発する必要性などにより、企業のビッグデータプロジェクトが問題に直面する可能性があります。

しかし、ビッグデータが企業のビジネスを変革する強力な力を持っていることを考えると、現在の企業組織にとってこれらの課題を克服し、ビッグデータプロジェクトの価値を積極的に実現することが重要です。クラウドサービスは、企業が目標を達成するのに役立ちます。この記事では、企業がビッグデータプロジェクトを実装する際に直面する最大の課題を分析し、クラウドでこれらの課題を効果的に克服する方法を詳しく説明します。

昨今、経営者は「ビッグデータ」や「クラウドサービス」といった言葉を毎日のように目にするようになりました。今日の市場で競争力を保つためには、企業は、収益の増加、顧客の維持、製品の品質向上など、実際の結果を生み出す賢明なビジネス上の意思決定を行う必要があります。ビッグデータ分析プロジェクトは、これらの目標を達成するための重要な要素です。

IDG はビッグデータを「エンタープライズアプリケーション/データベースからのトランザクションデータ、ソーシャルメディアデータ、モバイルデバイスデータ、非構造化データ/ドキュメント、マシン生成データなど、さまざまなソースから企業が収集した大量のデータ」と定義しています。 IDG は次のように語っています。「さまざまな大容量、高速データ情報資産により、企業はより優れた洞察力を獲得し、ビジネス上の意思決定を行うことができます。」「

ビッグデータにより、企業はビジネスに関するより深い洞察を得て、リアルタイムで戦略的な意思決定を行うことができます。実際、IDG の「ビッグデータと分析に関する調査レポート」によると、回答者の 3 分の 1 が、自社でビッグデータプロジェクトを実施することで意思決定の質が向上し、計画と予測の改善に役立ったと回答しています。

しかし、他の新興技術と同様に、課題も伴います。最初の大きな課題は、膨大なデータ量と伝送速度です。リアルタイムで変化する膨大な量のデータは、企業が使用する既存のツールや方法が機能しなくなることを意味します。企業はデータの出所についても考慮する必要があります。場合によっては、ビッグデータは顧客、センサー、Web サイト、ソーシャルメディアなど、何百万もの場所から出ています。

これまで企業が採用してきたアプローチは、企業の能力を構築または拡張することで、ビッグデータによってもたらされるワークロードを処理するというものでした。これは、リソースを大量に消費し、コストと時間がかかる取り組みです。 IT スタッフの多くの時間とスキルが必要となり、ビジネスを迅速に移行することはできません。結局、優れた製品やサービスを構築するよりも、インフラストラクチャに多くの時間と費用を費やすことになるかもしれません。

クラウドサービスはこれらの問題の多くを解決するのに役立ちます。当然のことながら、クラウドサービスと予測分析は、今後 3 ～ 5 年でビジネスに破壊的な影響を及ぼす可能性が最も高い上位 3 つのテクノロジーに含まれています。（3つ目はセルフサービスITです。）

企業がビッグデータを活用して予測分析を行うことを検討している場合、クラウドサービスは多くの利点があるため、重要な実現手段となります。

企業におけるビッグデータプロジェクト導入の 5 つの課題

すでに数多くの成功事例があるものの、実際にビッグデータプロジェクトを実施するのは簡単ではありません。実際、多くの課題があり、そのうちの 1 つでもプロジェクトが始まる前にプロジェクトを頓挫させる可能性があります。 IDG はビッグデータと分析に関する調査で、次の 5 つの課題を特定しました。

1. 関連するスキルの欠如

ビッグデータシステムは急速に進化しており、現在の企業が対応するのはほぼ不可能です。新しいツール、機能、フレームワークは数か月以内に開発され成熟する可能性があり、その結果、企業内の新たなビッグデータスキルに大きなギャップが生じ、企業のビッグデータプロジェクトの開発が簡単に妨げられる可能性があります。

実際、回答した企業の 48% は、データ分析とデータ管理スキルを持つ人材の不足が自社が直面している最大の課題であると考えています。ビッグデータスキル、特に分析の分野における需要は非常に高く、回答者の 70% が今後 12 ～ 18 か月以内にビッグデータ分析スキルを持つ人材を雇用する予定であると回答しています。

組織は、長期的な IT 投資をどのように行い、既存のスキルをどのように活用し、新しいスキルをどのように獲得するかという問題に直面しています。もう 1 つの疑問は、Hive、Pig、MapReduce、Spark、NoSQL ストレージなどの一連のテクノロジとフレームワークに直面した場合、企業は特定のビッグデータプロジェクトに最適な選択をどのように行うべきかということです。同時に、高度な分析およびデータ管理スキルに対する企業からの強い需要も高まり続けています。

クラウドサービスを使用すると、企業は継続的なセットアップ、メンテナンス、アップグレードに多大な時間とリソースを投資することなく、最新のテクノロジーを活用できます。クラウドサービスでは、企業がすでに持っているスキルを活用することもできますが、マネージドサービスでは、不足しているスキルを完璧に補完できます。

2. コストの課題

回答者の 47% は、予算の制約が、ビッグデータプロジェクトを実施する際に現在企業が直面する 2 番目に大きな課題であると回答しました。この課題は、コストの考慮が長年にわたり大多数の企業にとって最大の懸念事項であったという事実によって証明されています。

ほとんどのビッグデータテクノロジでは大規模なサーバークラスターが必要であり、これには長い構成およびセットアップサイクルが必要となり、結果として多額の設備投資とメンテナンスのオーバーヘッドが発生します。さらに事態を複雑にしているのは、既存のアプリケーションや新しいビジネスニーズからの多様なデータの量が増え続けるにつれて、データ転送速度が増加し続け、持続不可能な IT コストにつながる可能性があることです。企業は、コストを最小限に抑えながら、ビッグデータから可能な限り多くの価値を引き出す方法を知る必要があります。

IT コストを削減しながら、ビッグデータを管理するためにインフラストラクチャを拡張できる必要があります。まさにこれが、クラウドサービスが企業に提供できるメリットです。クラウドサービスにより、企業はハードウェアとソフトウェアのインフラストラクチャを購入して維持する必要がなくなり、それに伴う多額の設備投資も不要になります。これにより、企業は限られた資金を自社の中核となるイノベーションに再配分できるようになります。

3. データの予測不可能性

ビッグデータは、企業のレガシーアプリケーションやトランザクションシステムから、マシン、モバイルデバイス、Web ログ、ソーシャルメディアによって生成されるデータまで、さまざまなソースから生成されます。これにより、必要な容量の予測がより困難になり、非効率的になります。単一のイベントによって、データ量とワークロードが突然変化する可能性があります。たとえば、金融サービス組織では、特定の日に取引量が 10 倍に変動する可能性がありますが、正確な変動は市場の状況によって異なり、予測が困難です。

4 社に 1 社の組織は、ビッグデータのストレージ容量/インフラストラクチャの需要の増大という課題に直面しています。企業はインフラストラクチャを計画する必要があるだけでなく、変化するストレージとコンピューティングの要件に合わせて簡単に拡張する方法も決定する必要があります。ピーク時の需要に対応するためにインフラストラクチャの容量を 10 倍に拡張しても、その余剰容量が 90% の時間アイドル状態のままになるのは、ほとんどの企業にとって非常に非効率的でコスト効率が悪いでしょう。その他の問題としては、データの増加によるインフラストラクチャとメンテナンスのコストの上昇、実験によるイノベーションをサポートするための十分な帯域幅を確保する必要性、データの収集と分析のコストなどが挙げられます。

クラウドサービスを使用すると、企業は最大容量に合わせてインフラストラクチャのサイズを変更する必要がなくなります。弾力性のある特性により、企業は必要に応じてインフラストラクチャを動的に拡張または縮小できます。

4. セキュリティ

組織が新規および既存のソースからより多くのデジタル情報を収集、保存、分析するにつれて、データセキュリティに対する懸念が高まります。回答者の約 35% は、自社の既存のセキュリティソリューションと製品が適切なデータセキュリティを提供しているかどうか確信が持てなかった、またはそうではないと考えていました。企業は、データアクセスの制御、データ資産の保護、インフラストラクチャのセキュリティ確保に苦労しています。最終的に、企業は俊敏性とパフォーマンスを犠牲にすることなく、コンプライアンス、データ管理、セキュリティの要件を確実に満たす方法を決定する必要があります。たとえば、医療業界の企業は HIPAA コンプライアンス要件を遵守する必要がありますが、これは保存されたデータ自体を保護するだけでなく、コンピューター、プリンター、コピー機を通じてデータにアクセスする際のセキュリティを確保することも求められる複雑なタスクです。

金融サービス業界の企業も課題に直面しています。ビッグデータは、顧客体験の向上、リスクの軽減、規制コンプライアンス要件の遵守に重点を置いた、最近登場した最も有望な新技術の 1 つです。セキュリティなど、ここで議論したビッグデータの課題に関しては、金融サービス企業は以下の点を考慮する必要があります。

財務情報が厳格な管理およびコンプライアンス要件の対象となっているかどうか。
基本的に、金融サービス会社によって作成または使用されるすべてのデータは規制されており、機密性や個人情報が含まれる可能性があります。
金融サービス組織は、GLBA、SOX/J-SOX、MiFID II、Basel II、さらには米国愛国者法などの規制に準拠する必要があります。
ビッグデータとは、企業の情報が放置されないことも意味します。そのデータを活用してより良いビジネス成果を達成することに重点が置かれます。このデータは、複数のユーザーとシステムによって継続的に生成、処理、分析されます。
内部および外部のセキュリティ攻撃からの保護や、何千もの顧客データの安全性とプライバシーの確保など、日常的なセキュリティ要求と組み合わせると、この課題の範囲はさらに明確になります。

強力なデータプライバシー保護とセキュリティ制御を備えたベンダーを選択することで、ビッグデータのセキュリティ上の課題にも対処できます。実際、クラウドサービスが企業独自のデータセンターよりも安全であることは珍しくありません。クラウドサービスプロバイダーは強力なコンピューティングインフラストラクチャを提供しているため、安全な環境を維持することがプロバイダーにとって最大の利益となります。このため、多くのクラウドプロバイダーは複数の企業からベストプラクティスと経験を蓄積しており、最も厳格なセキュリティ要件を備えています。

5. ビジネスケースを作成する

多くの場合、IT 部門はビッグデータのビジネスケースを作成する必要があります。 IDG によれば、組織内の IT リーダーは、非 IT リーダーよりも、要件とソリューションの観点からビジネスニーズを特定する責任を負う可能性が高くなります。ベンダーを推奨および選択し、購入を承認および許可し、IT チームを超えてソリューションを販売する必要があります。しかし、企業の事業部門のリーダーたちも、このことに関与しないわけにはいかない。 IDGによると、回答者の45%が自社のCEOがビッグデータプロジェクトの開発と実装に関与していると答えた。最高財務責任者や事業部門の幹部も、ビッグデータプロジェクトで重要な役割を果たすようになっています。

確固としたビジネスケースを構築しておらず、主要なビジネス関係者などの強力な協力者からの意見も収集していない場合は、ビッグデータプロジェクトに必要なリソースの承認が得られない可能性が高くなります。

回答者の 4 分の 1 は、ROI の実証はすべてのエンタープライズビッグデータプロジェクトが直面する課題であると述べています。実際のところ、ビッグデータはまだ比較的未成熟であり、ある程度の実験が必要になる可能性があり、非常にコストがかかる可能性があります。特定のプロジェクトイニシアチブを実験するには、企業は差別化を伴わない重労働を行う必要があり、これには多くの時間と労力がかかります。これにより、イノベーションのペースが間違いなく遅くなり、最終的にはビッグデータプロジェクトの価値が低下することになります。

多くの場合、投資収益率を証明する最も簡単な方法は、総所有コストを削減することです。しかし、前述したように、従来のインフラストラクチャでビッグデータを管理するコストは持続可能ではありません。クラウドサービスを使用して既存のワークロードを再構築すると、企業はコストを大幅に削減できます。さらに、クラウドサービスを使用すると、実験コストが削減され、イノベーションのペースを加速できます。実験が成功すれば測定可能なメリットが実証され、導入後はさらなる需要が喚起されるでしょう。

クラウドサービスを利用して上記の課題を克服する

クラウドコンピューティングへの適切なアプローチは、ビッグデータアプリケーションの導入における障壁を最小限に抑えたり、排除したりするのに役立ちます。ビッグデータと同様に、クラウドサービスは、企業の運営やビジネスのやり方を変える大きな破壊力を持っています。

クラウドとビッグデータを組み合わせれば、その影響はさらに大きくなります。

しかし、クラウドサービスを導入すると決めたからといって、企業のビッグデータの問題が一夜にして解決されるわけではありません。さらに、多くのクラウドサービスプロバイダーは、ビジネスに必要なサービスのサブセットのみを提供しています。また、多くの統合作業が必要になるため、ビジネスに別の大きな疑問が生じ、価格とスケーラビリティのどちらを選ぶかという選択が難しくなることがよくあります。パフォーマンスか使いやすさか？柔軟性かセキュリティか?

クラウドプロバイダーを評価する場合、企業はこれらの課題に直接対処するソリューションを探す必要があります。

スキル不足: 企業には、ビッグデータアプリケーションを構築、拡張、安全に展開するための幅広い能力が必要です。これらの機能は、データの収集から保存、分析、データの視覚化まで、ビッグデータのさまざまな側面をすべてカバーする必要があります。企業は、管理オーバーヘッドを最小限に抑え、ビッグデータで使用される幅広いテクノロジーと完全に互換性のあるマネージドサービスを提供するクラウドプロバイダーを探す必要があります。これにより、あなたのビジネスはあなたが持っているスキルを最大限に活用し、支援を受けることができます。

コストとビジネスケースの開発: クラウドサービスに移行する企業は、ハードウェアを購入して維持する必要がなくなります。ビジネスケースを構築するには、TCO の削減に役立つプロバイダーを選択してください。柔軟な価格モデル: リザーブドインスタンスからオンデマンドインスタンス、さらにはスポットインスタンスまで、大幅な節約の機会を提供し、データの管理と処理のコスト構造を削減できます。

データの予測不可能な性質: クラウドサービスプロバイダーは、需要の変化に応じて迅速かつ簡単にスケールアップまたはスケールダウンできるようにする必要があります。たとえば、ストレージをコンピューティング能力から分離することで、企業は必要なリソースの種類とサイズのみを選択し、使用した分だけ支払うことができます。

コンピューティングオプション: プロバイダーは、幅広いビッグデータワークロードに適したさまざまなコンピューティングオプションを提供する必要があります。これにはコンピューティング最適化インスタンスが含まれます。高性能コンピューティング用の GPU インスタンス。メモリを大量に消費するアプリケーション向けにテラバイト単位のメモリを備えたメモリ最適化インスタンス。超並列データウェアハウスアプリケーション、Hadoop、NoSQL データベース向けの非常に高速な SSD ストレージを備えたストレージ最適化インスタンス。

セキュリティ: 安全が確保され、HIPAA、PCI DSS、FedRAMP などのさまざまな業界標準に準拠していることが頻繁に監査されるように設計されたクラウドコンピューティングインフラストラクチャを探してください。クラウドプロバイダーが、組織がセキュリティと規制の要件を満たすのに役立つ監査に適したサービスとコンプライアンスプログラムを提供していることを確認してください。また、プロバイダーがすべてのサービスにおいて保存時および転送中のデータの暗号化と、幅広いデータ暗号化オプションを提供していることを確認してください。

クラウドサービスは、その性質上、ビッグデータに最適です。クラウドコンピューティングの拡張性、弾力性、経済モデルにより、企業はピーク容量の環境を構築して投資することなく、必要に応じてスケールアップまたはスケールダウンできます。クラウドコンピューティングにより、企業は重労働に関連するコストを削減し、節約した分をビジネスに価値をもたらすプロジェクトに再投資できるようになります。測定可能な節約はより多くのスポンサーを確保するのに役立ち、その節約分は他のビッグデータプロジェクトの資金として使用できます。

結論は

今後、ビッグデータは、企業がよりスマートかつ迅速にビジネス上の意思決定を行う上で、ますます重要な役割を果たすようになるでしょう。しかし、企業は、スキル不足、コスト制約、データの予測不可能性、セキュリティ上の懸念、ビジネスケース作成の難しさなどに阻まれる必要はありません。クラウドサービスはこれらの要件の多くに対応できます。これにより、企業はビッグデータの収集、保存、処理に必要な IT インフラストラクチャを気にすることなく、ビッグデータ分析を繰り返し実行し、ビジネスニーズに集中できるようになります。クラウドサービスプロバイダーが提供するソリューションを利用することで、企業はより迅速かつ低コストでデータを分析し、ビジネス目標をより早く達成できるようになります。

<<: クラウドコンピューティングがセキュリティを強化し、Hongshi Electronics がクラウド導入を加速

>>: ファーウェイ：企業のデジタル変革の課題を克服