ビッグデータとクラウドコンピューティングの深い統合はどのような側面に反映されていますか?

ビッグデータとクラウドコンピューティングの深い統合はどのような側面に反映されていますか?

[[386838]]

ITエコシステム全体のさらなる発展に伴い、2021年には、IT実務家の間ではビッグデータの開発動向について一般的なコンセンサスが形成され、ビッグデータとクラウドコンピューティングのさらなる深い統合、つまりビッグデータがクラウドコンピューティングを取り入れてクラウドネイティブへと移行するという動向が高まっています。

ミン兄弟がここにいます。私たちは、ディープ インテグレーションのトレンドの中で、ビッグ データとクラウド コンピューティングのディープ インテグレーションが具体的にどこに現れるのかを一緒に見ていきます。

ビッグデータとクラウド コンピューティングの緊密な統合は、次の側面に反映されています。

1. アプリケーション側のビッグデータ プラットフォームはクラウド上にあります。ビッグデータ テクノロジを使用するビジネス アプリケーション ビルダーは、独自のデータ センターを構築するのではなく、ビッグデータ プラットフォームをクラウドに移行します。クラウドベンダーの IaaS レイヤー上に独自のビッグデータ プラットフォームを構築する企業もあります。現状では、このようにクラウド上でビッグデータを活用する事例は比較的少ないです。クラウドベンダーが提供するPaaS層のビッグデータ関連製品を直接利用する企業もあれば、クラウドベンダーが発売するSaaS層のビッグデータ関連製品を直接利用する企業もあります。 「クラウド移行」において強調する必要がある傾向が 1 つあります。それは、ベンダー ロックインが発生しないことを誰もが非常に重視しているということです。基盤となるクラウドは、複数のパブリック クラウドとプライベート クラウドを統合したハイブリッド クラウドである場合があります。

2. クラウド コンピューティング ベンダーは、ビッグ データに基づく独自の付加価値サービスを継続的にリリースしています。主要なクラウド ベンダーは、市場競争力を高め、市場での地位をさらに強化/拡大するために、最も基本的な S3/OSS、EMR/E-MapReduce、前述の AWS RedShift、Alibaba Cloud の MaxCompute など、独自の統合ビッグ データ関連製品を積極的にリリースしています。さらに、さまざまなクラウド データベース、クラウド上のサーバーレス形式のさまざまなビッグ データ サービスなどがあります。次のスクリーンショットに示すように、このリストはまだ増え続けています。


3. 従来のビッグデータベンダーは、自社の製品やサービスを提供するためにクラウドに依存するようになりました。たとえば、Elastic は長年クラウドをベースとした独自の ELK テクノロジー スタックを提供しており、Databricks のビッグデータ プラットフォームと製品は常にクラウドをベースとして顧客にサービスを提供しており、Cloudera はビジネス モデルの変更を常に模索しています。

4. それぞれの特定のビッグデータ コンポーネントは、独自のアーキテクチャを積極的に変更し、クラウド ネイティブから「クラウド化」へと積極的に移行しています。概念レベルでは、ビッグデータは、初期の「データの局所性」と「モバイル データはモバイル コンピューティングほど優れていない」という重視から、現在の「ストレージとコンピューティングの分離」に進化しました。新しくリリースされた各コンポーネントとフレームワークは、クラウド ネイティブを積極的に採用しています。たとえば、Pulsa と TiDB は、ストレージとコンピューティングが分離されたクラウド ネイティブ アーキテクチャに基づいています。伝統的なコンポーネントには歴史的な負担が伴いますが、常に革新と変化を求めています。たとえば、Flink/Spark は深く統合されており、Kubernetes クラスター モードをサポートしています。 Kafka は、Zookeeper と Rebalance Protocol の静的メンバーシップへの依存を完全に排除するなど、フラワーのクラウド化も継続的に検討しています。古いことわざに「意志に従えば繁栄し、従わなければ滅びる」というのがあります。クラウド ネイティブ アーキテクチャに適さない一部の技術コンポーネントの市場は縮小しています。たとえば、多くのシナリオでは、Kubernetes が Yarn に取って代わり、オブジェクト ストレージ OSS/S3 も HDFS に取って代わります。また、Apache コミュニティによって Ozone がリリースされたことも注目しています。このコンポーネントはオブジェクト ストレージに基づいて、ファイル システム API も統合して起動します。このコンポーネントの背後には、元の HDFS コミュニティからの多くのコミッターがコードを提供しており、このコンポーネントは Cloudera CDP プラットフォームにも組み込まれています。次の図は、Flink/Spark と Kubernetes の深い統合を示しています。(k8s オペレーターを使用して k8s クラスターで Spark/Flink ジョブを実行するだけでなく、ネイティブの深い統合であることに注意してください)


<<:  分散システムのCAP定理とBASE理論

>>:  SpringBootとデータベーステーブルレコードに基づく分散ロックの実装

推薦する

ウェブマスターがソフト記事リンクを正しく理解する方法の簡単な分析

ウェブマスター業界でソフト記事が人気を博すにつれ、刷新されたソフト記事チェーンも登場しました。新世代...

VMware、自動化を推進し、IT の近代化を加速する Anywhere Workspace イノベーションを発表

ハイブリッド ワークフォースの変化するニーズに直面している組織は、あらゆるアプリ、デバイス、場所から...

マーケティングについて - 知りたいけど聞けない事

講義やパネルディスカッション、公開インタビューの一番面白い部分は最後、つまり聴衆が講演者と交流し、質...

次のクラウドコンピューティングの巨人は、IBM か Oracle か?

クラウド サービスにおける AWS の優位性を否定できる人は誰もいません。メディアはトップ層に焦点を...

テンセント広告とバイトダンスの競争の転換点

今日は、テンセント広告とバイトダンスの転換点についてお話ししましょう。過去5年間、バイトダンスは止め...

ウェブサイトのトラフィック、ランキング、ビジネス量を増やすための最も重要な方法は何ですか?

ウェブサイトを構築した後、ほとんどのウェブマスターは、ウェブサイトのランキングをすぐに改善し、ウェブ...

Doumi の「Good Job」マーケティングのレビュー: 視聴者獲得競争からマインド獲得まで、ブランドはどのようにして中心的地位を維持できるのか?

2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っています誰もが良い...

SEO とは何か、そしてそれをどのように活用するのか?

SEO とは何ですか? 多くの友人が不満を言うのを聞いたことがあります。なぜランキングのために一生懸...

ユーザーにブランドロゴを覚えてもらうにはどうすればよいでしょうか? LOGO Design Network はユニークなロゴのデザインをお手伝いします。

2018年最もホットなプロジェクト:テレマーケティングロボットがあなたの参加を待っていますLOGO ...

SEOがウェブサイトを分析する方法

SEO を行うには、競合他社の Web サイト (つまり、検索で上位にランクされているサイト) を分...

サイト最適化において内部リンクを構築するときに注意すべき4つの点について簡単に説明します。

オンサイト最適化の場合、これはすべての最適化担当者にとって必須のレッスンの 1 つです。さらに、検索...

淘宝網を生態学的災害から救うのは誰か?

BATの3大巨頭のうち、百度はテクノロジーに力を入れており、テンセントはソーシャルネットワーキングに...

5Gとエッジコンピューティングを組み合わせる利点は何ですか?

速度の向上とレイテンシの短縮は、5G とエッジ コンピューティングの組み合わせが今日非常に人気となっ...

成功か失敗かは細部によって決まります。ブログのタグを最適化するにはどうすればよいでしょうか?

ブログにタグを追加することは、ブログ記事を書くときに最も基本的な習慣の 1 つになっています。これに...

「Eastern Data and Western Computing」がクラウド市場の爆発的な成長を加速します。事業者はチャンスを掴むために「3つの軸」に頼る必要がある

国家の新インフラプロジェクト「東データ西コンピューティング」が本格的に始動したことで、わが国のクラウ...