Amazon Web Services は、顧客がゼロ ETL の未来へ向かうのを支援する 2 つの新機能を発表しました。

Amazon Web Services は、2022 re:Invent Global Conference で 2 つの新しい統合機能を発表しました。これにより、顧客は異なるサービス間でデータを移行することなく、複数の場所に保存されているデータを接続して分析できるようになります。お客様は Amazon Redshift を使用して、異なるサービス間でデータを抽出、変換、ロード (ETL) することなく、Amazon Aurora のデータをほぼリアルタイムで分析できます。お客様は、Amazon EMR、Amazon Glue、Amazon SageMaker などの AWS 分析および機械学習サービスを使用して、Amazon Redshift のデータ上で Apache Spark アプリケーションを簡単に実行することもできます。これら 2 つの新機能を組み合わせることで、お客様は Amazon Web Services で「ゼロ ETL の未来」を実現できるようになります。 Amazon Web Services を使用してデータの価値を引き出す方法の詳細については、 aws.amazon.com/dataをご覧ください。

「今日のお客様は、大規模で複雑なデータを管理しています。つまり、1 つのテクノロジーや少数のツールだけでは、データを分析および調査することはできません。多くのお客様が、AWS の多数のデータベースおよび分析サービスからデータの価値を引き出しています。仕事に適したツールを確実に提供することが、ビジネスの成功に不可欠です」と、AWS のデータベース、分析、機械学習担当副社長であるSwami Sivasubramanian氏は述べています。 「本日発表する新機能は、 AWS でお客様が「ゼロ ETL の未来」に向かって進むのを支援し、サービス間でデータを手動で移行または変換する必要性を減らします。お客様の ETL やその他のデータ移行タスクを排除することで、ビジネスやデータの規模や複雑さに関係なく、お客様がデータの分析とビジネスに関する新たな洞察の獲得に集中できるように支援します。」

データは、すべてのアプリケーション、プロセス、ビジネス上の意思決定の中心であり、ほぼすべての企業のデジタル変革の基礎となります。しかし、現実世界のデータ システムは大規模かつ複雑であることが多く、さまざまなデータが複数のクラウド サービスやローカル システムに分散しています。多くの企業は大量のデータを保有しており、そこから得られる価値を最大化したいと考えています。 Amazon Web Services は、MySQL および PostgreSQL と互換性のあるリレーショナル データベースにトランザクション データを保存する Amazon Aurora や、ペタバイト規模のデータに対して高性能なデータ ウェアハウスや分析ワークロードを実行する Amazon Redshift など、さまざまな専用ツールを提供しています。しかし、データの価値を真に最大化するには、顧客はこれらのツールをシームレスに連携させる必要があります。そのため、Amazon Web Services は、Amazon Aurora ML や Amazon Redshift ML などの Zero-ETL コンセプトに基づく機能の開発に投資し、顧客が異なるサービス間でデータを移行することなく、機械学習のユースケースで Amazon SageMaker の機能のメリットを享受できるようにしています。さらに、AWS は、 Amazon KinesisやAmazon MSKなどのストリーミングサービスからAmazon S3やAmazon OpenSearch Serviceなどの幅広いデータストレージサービスにデータをシームレスに取り込めるようにし、顧客がタイムリーにデータを分析できるように支援します。これらの新機能は、Amazon Web Services のデータベースと分析ポートフォリオの高性能と緊密な統合に基づいて構築されており、顧客が Amazon Web Services に保存されているデータに、より迅速、容易、かつコスト効率よくアクセスして分析するのに役立ちます。

Amazon Aurora と Amazon Redshift のゼロ ETL 統合により、お客様は Amazon Redshift を簡単に使用して、Amazon Aurora 内のペタバイト単位のトランザクション データをほぼリアルタイムで分析できるようになります。

企業が中核となるビジネス推進要因をより深く理解し、売上を増やし、コストを削減し、競争上の優位性を獲得するための戦略を立てようとしているため、購入、予約、金融取引などのトランザクション データからほぼリアルタイムで洞察を得ることへの需要が高まっています。現在、多くの企業のトランザクション データを分析するためのソリューションは、リレーショナル データベースを使用してデータを保存すること、データ ウェアハウスを使用してデータを分析すること、データ パイプラインを使用してリレーショナル データベースとデータ ウェアハウス間でデータを抽出、変換、ロード (ETL) することの 3 つの部分に分かれています。データ パイプラインの構築にはコストがかかり、管理も難しいため、開発者はカスタム コードを記述し、インフラストラクチャを継続的に管理して、必要に応じて拡張できるようにする必要があります。企業によっては、この作業にチーム全体を割く必要がある場合もあります。さらに、このようにデータを準備するには数日かかることがあり、断続的なデータ転送エラーにより、顧客の一時的な洞察に影響が出たり、ビジネスチャンスを逃したりする可能性があります。

Amazon Redshift と統合された Amazon Aurora ゼロ ETL 機能により、トランザクションデータは Amazon Aurora に書き込まれてから数秒以内に自動的かつ継続的に複製され、Amazon Redshift で即座に利用できるようになります。 Amazon Redshift でデータが利用可能になると、お客様はすぐに分析を開始し、データ共有や Amazon Redshift ML などの高度な機能を適用して、包括的な予測的洞察を得ることができます。お客様は、複数の Amazon Aurora データベース クラスターから同じ Amazon Redshift インスタンスにデータを複製して、複数のアプリケーションにわたる洞察を得ることができます。これにより、顧客は複雑なデータパイプラインを構築または維持することなく、Amazon Aurora を使用してトランザクションデータベースのニーズをサポートし、Amazon Redshift を使用して分析を行うことができます。

Apache Spark の Amazon Redshift 統合により、Amazon Web Services の分析および機械学習サービスを使用する際に、Apache Spark アプリケーションから Redshift のデータに迅速かつ簡単にアクセスできるようになります。

多くの開発者は、ビッグデータ ワークロード用のオープン ソース処理フレームワークである Apache Spark を使用して、さまざまな分析および機械学習アプリケーションを強化しています。現在、Amazon Web Services は、Amazon EMR、Amazon Glue、Amazon SageMaker 上での Apache Spark の実行をサポートしており、完全な機能互換性と、オープンソース バージョンよりも 3 倍高速な最適化された実行時間を実現しています。多くの場合、顧客はこれらのサービスから直接 Amazon Redshift のデータを分析したいと考えています。自社の環境と Amazon Redshift の間でデータを読み書きするためには、サードパーティのコネクタを見つけ、テストし、認証するという複雑で時間のかかるプロセスを経る必要があります。コネクタが見つかった場合でも、Amazon Redshift からデータを読み書きするには、Amazon S3 などの中間データ ステージング場所を管理する必要があります。これらすべての課題により、運用の複雑さが増し、顧客が Apache Spark を最大限に活用することが難しくなります。

Apache Spark の Amazon Redshift 統合により、開発者は Amazon Web Services が提供する分析および機械学習サービスを使用して、Amazon Redshift データ上で Apache Spark アプリケーションを簡単に構築および実行できるようになります。この統合は AWS によって認定、パッケージ化、サポートされているため、サードパーティのコネクタに関連する面倒でエラーが発生しやすいプロセスが排除されます。開発者は、Java、Python、R、Scala などの一般的な言語フレームワークを使用して、Apache Spark ベースのアプリケーションから Amazon Redshift データに対するクエリを数秒で実行できます。中間データのステージング場所は自動的に管理されるため、顧客はアプリケーション コードでこれらの場所を構成および管理する必要はありません。 Apache Spark の Amazon Redshift 統合を開始するには、 aws.amazon.com/ redshift/features/integration-for-apache-spark にアクセスしてください。

Adobe は、個人や中小企業から政府機関や世界的なブランドまで、誰もが優れたデジタル エクスペリエンスを創造し、提供できるようにします。 「アドビの使命はデジタル体験を通じて世界を変えることです。今日の世界では、それは深くリアルタイムの洞察を提供する分析ツールを持つことを意味します」と、Adobe Acrobat Sign の主任科学者であるジャック ラルは述べています。 「Amazon Aurora のお客様として、Amazon Redshift と統合された Amazon Aurora のゼロ ETL 機能を歓迎します。これにより、増え続ける Acrobat Sign のお客様に新たな洞察とより高速な分析が提供され、お客様の使用量に合わせて拡張されます。これらはすべて、当社チームによる日常的なメンテナンスなしで実現します。」

Infor は、ビジネス クラウド ソフトウェアおよび業界固有の ERP ソリューションのグローバル リーダーです。 「Infor では、AWS を使用して、お客様のビジネス変革とイノベーションの加速を支援する最新のツールを構築および導入しています。これには、高度な分析と機械学習を使用してより迅速な意思決定を支援する、お客様の業界クラウドデータ向けの新しいマネージドデータウェアハウスサービスが含まれます」と、Infor のクラウドサービス担当シニアバイスプレジデントの Jim Plourde 氏は述べています。 「Amazon Redshift と統合された Amazon Aurora のゼロ ETL 機能を使用できることを楽しみにしています。この機能により、Amazon Aurora のトランザクション データがほぼリアルタイムで Amazon Redshift に提供されるようになり、運用上の負担が軽減されます。これで、リレーショナル データベース管理システムとしての Amazon Aurora のパフォーマンスのメリットを享受しながら、新しいマネージド データ ウェアハウス サービスで Amazon Redshift の分析機能と機械学習機能を簡単に活用できるようになります。」

ゴールドマン・サックス・グループは、企業、金融機関、政府、個人など大規模かつ多様な顧客基盤に対して、投資銀行業務、証券業務、投資運用業務、消費者向け銀行業務など、幅広い金融サービスを提供する世界有数の金融機関です。 「当社は、ゴールドマン・サックスの全ユーザーにセルフサービス型データアクセスを提供することに重点を置いています。金融サービス業界全体で協力することで、当社のオープンソースデータ管理およびガバナンスプラットフォームであるLegendを通じて、ユーザーがデータ中心のアプリケーションを開発し、データ主導の洞察を獲得できるよう支援できます」と、ゴールドマン・サックスの最高データ責任者であるニーマ・ラファエル氏は述べています。 「 Apache Spark の Amazon Redshift 統合により、当社のデータプラットフォームチームは、最小限のカスタマイズで Amazon Redshift データにアクセスし、ゼロコード ETL を実現できるようになりました。これにより、エンジニアが完全かつタイムリーな情報を収集しながらワークフローの改善に集中できるようになります。ユーザーが Amazon Redshift の最新データに簡単にアクセスできるようになったため、アプリケーションのパフォーマンスが向上し、セキュリティが強化されます。」