ビッグデータとクラウドコンピューティングの深い統合の傾向はどのような側面に反映されていますか?

ビッグデータとクラウドコンピューティングの深い統合の傾向はどのような側面に反映されていますか?

[[386480]]

この記事はWeChatの公開アカウント「Mingge's IT Essays」から転載したもので、著者はIT Minggeです。この記事を転載する場合は、Mingge の IT Essays 公開アカウントにご連絡ください。

ITエコシステム全体のさらなる発展に伴い、2021年には、IT実務家の間ではビッグデータの開発動向について一般的なコンセンサスが形成され、ビッグデータとクラウドコンピューティングのさらなる深い統合、つまりビッグデータがクラウドコンピューティングを取り入れてクラウドネイティブへと移行するという動向が高まっています。

ミン兄弟がここにいます。私たちは、ディープ インテグレーションのトレンドの中で、ビッグ データとクラウド コンピューティングのディープ インテグレーションが具体的にどこに現れるのかを一緒に見ていきます。

ビッグデータとクラウド コンピューティングの緊密な統合は、次の側面に反映されています。

まず、アプリケーション側のビッグデータ プラットフォームがクラウド上に置かれます。ビッグデータ テクノロジを使用するビジネス アプリケーション ビルダーは、独自のデータ センターを構築するのではなく、ビッグデータ プラットフォームをクラウドに移行します。クラウドベンダーのIaaSレイヤー上に自社のビッグデータプラットフォームを構築する企業もあれば(現在ではこのようにクラウド上でビッグデータを活用する事例は比較的少ない)、クラウドベンダーが提供するPaaSレイヤーのビッグデータ関連製品(AWS EMR、Alibaba Cloudのe-MapReduceなど)を直接利用する企業もあれば、クラウドベンダーが発売するSaaSレイヤーのビッグデータ関連製品(AWS RedShift、Alibaba CloudのMaxComputeなど)を直接利用する企業もある。 「クラウド移行」において強調する必要がある傾向が 1 つあります。それは、ベンダー ロックインが発生しないことを誰もが非常に重視しているということです。基盤となるクラウドは、複数のパブリック クラウドとプライベート クラウドを統合したハイブリッド クラウドである場合があります。

第二に、クラウド コンピューティング ベンダーは、ビッグ データに基づく独自の付加価値サービスを継続的にリリースしています。主要なクラウド ベンダーは、市場競争力を高め、市場での地位をさらに強化/拡大するために、最も基本的な S3/OSS、EMR/E-MapReduce、前述の AWS RedShift、Alibaba Cloud の MaxCompute など、独自の統合ビッグ データ関連製品を積極的にリリースしています。さらに、さまざまなクラウド データベース、クラウド上のサーバーレス形式のさまざまなビッグ データ サービスなどがあります。次のスクリーンショットに示すように、このリストはまだ増え続けています。

第三に、従来のビッグデータベンダーは、自社の製品やサービスを提供するためにクラウドに依存するようになりました。たとえば、Elasticは長い間、クラウドを基盤とした独自のELKテクノロジースタックを提供しており、Databricksのビッグデータプラットフォームと製品は常にクラウドを基盤として顧客にサービスを提供しています(AWS、GCP、Azureなどのクラウドプラットフォームに接続できます)。また、Clouderaはビジネスモデルを絶えず模索し、変更してきました(ビッグデータトロイカの栄光の時代から、業績低下によるHortorWorksとの合併、ビジネスモデルの積極的な変更、クラウドを基盤とした自社の製品やサービスの提供、さらにはビッグデータプラットフォームのデータセンターバージョンがCDP Private Cloud Baseに改名されるまで)。

4 番目に、それぞれの特定のビッグ データ コンポーネントは、独自のアーキテクチャを積極的に変更し、クラウド ネイティブから「クラウド化」へと積極的に移行しています。概念レベルでは、ビッグ データは、初期の「データの局所性」と「モバイル データはモバイル コンピューティングほど優れていない」という重視から、現在の「ストレージとコンピューティングの分離」の重視へと進化しています。新しくリリースされた各コンポーネントとフレームワークは、クラウド ネイティブを積極的に採用しています。たとえば、Pulsa と TiDB は、ストレージとコンピューティングが分離されたクラウド ネイティブ アーキテクチャに基づいています。伝統的なコンポーネントには歴史的な負担が伴いますが、常に革新と変化を求めています。たとえば、Flink/Spark は深く統合されており、Kubernetes クラスター モードをサポートしています。 Kafka は、Zookeeper 依存関係の完全な削除や Rebalance Protocol の静的メンバーシップなど、クラウドベースのコンポーネントも継続的に調査しています。古いことわざに「意志に従えば繁栄し、従わなければ滅びる」というのがあります。クラウド ネイティブ アーキテクチャに適さない一部の技術コンポーネントの市場は縮小しています。たとえば、多くのシナリオでは、Kubernetes が Yarn に取って代わり、オブジェクト ストレージ OSS/S3 も HDFS に取って代わります (Apache コミュニティによって開始された Ozone にも注目しています。このコンポーネントは、オブジェクト ストレージに基づいて、ファイル システム API も統合して開始します。元の HDFS コミュニティから多くのコミッターがこのコンポーネントにコードを貢献しており、このコンポーネントは Cloudera CDP プラットフォームにも組み込まれています)。次の図は、Flink/Spark と Kubernetes の深い統合を示しています。(k8s オペレーターを使用して k8s クラスターで Spark/Flink ジョブを実行するだけでなく、ネイティブの深い統合であることに注意してください)

参考リンク

http://spark.apache.org/docs/latest/running-on-kubernetes.html

https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/resource-providers/native_kubernetes.html

詳しくはこちら

https://www.confluent.io/blog/kafka-rebalance-protocol-static-membership/

<<:  産業インターネットが産業変革とアップグレードを加速、ファーウェイクラウドが東莞のチャンス獲得を支援

>>:  深夜、仮想マシンからプログラムが実行してしまいました...

推薦する

K8S のローリングアップグレードを 1 つの記事で理解する

パート01.アップグレード戦略 K8S では、 spect.strategy を使用して、古い Po...

クラウドコンピューティングベンダーの金儲けの秘訣

今日は、クラウドベンダーの中心的な関心事である「収益の上げ方」についてお話します。この種の内容につい...

RamNode: SVDS 専用の 20% 割引クーポン、独立型高構成 VPS

Ramnode、それは本当に簡単ではありません、私たちはVDSビジネスの購入にのみ限定して20%割引...

ウォン・カークイの死から20年

黄家居が亡くなって20年が経ちました。彼の傑作をいくつか皆さんに紹介したいと思います。ファンの皆さん...

ウェブサイトのユーザーロイヤルティの向上は「エンティティ」ケアから始まります

サイトの忠誠度をいかに高めるかは、数え切れないほどのウェブマスターにとって悩みの種ですが、つい先週、...

クラウドファースト戦略を採用する方法

今日の急速に変化する世界で企業が生き残りたいのであれば、クラウドファーストのテクノロジーを導入する必...

Mogujie による画像 SEO の概要

人間は視覚的な動物であり、一般的にテキストよりも画像を好みます。インターネット技術の継続的な向上によ...

ザックはリン・シゲのゲストとしてSEOに関する質問に答えました

中国語 SEO の分野では、Zac の名前は非常に優れているため、彼を紹介するのにこれ以上言葉を無駄...

Douban Liveはブレイクするか?

ライブストリーミングの人気により、「文豪」の豆板ももうじっとしていられなくなった。天眼茶アプリによる...

SEO 担当者は検索エンジンの進歩に喜ぶべきでしょうか、それともパニックになるべきでしょうか?

検索エンジンは SEO に対してますます友好的になってきていますが、SEO 担当者はますます不安を感...

#サイバーマンデー# ブルーホスト - 50% オフ/100% 本物のクラウド VPS/オープンスタック/無制限のトラフィック

Bluehost のこれまでの最高のプロモーションは、サイバーマンデーです。仮想ホスティングは最大 ...

HEMA Freshがいかにして生鮮食品の障壁を築いたか

​今年上半期の資金調達状況から判断すると、生鮮食品市場は依然として非常に活況を呈しており、生鮮食品電...

情報ストリーム広告チャネルの引用と掲載に関する 7 つの実践ガイド (2016 年更新)

この記事の内容:情報フロー広告とは?情報フロー広告入門表示フォームチャネル引用申請プロセス舞台裏の運...

3分レビュー! 2021 年 6 月のクラウド コンピューティング分野の重要な動向を簡単に紹介します

2020年以降、クラウドコンピューティングがトレンドになりました。ますます多くの資本と企業がクラウド...

2010 年の SEO に関する 8 つの予測を明らかにする

昨日、seomoz.org の randfish が、2010 年の SEO に関する 8 つの予測...