大規模アプリケーションのパフォーマンスの課題を克服するにはどうすればよいでしょうか?

[51CTO.com クイック翻訳] Web スケールのアプリケーションでは、優れたユーザー エクスペリエンスで多数のユーザーをサポートするために、高いパフォーマンスと大規模なスケーラビリティが求められます。急速に拡大するユーザーベースに対応するために、優れたパフォーマンス、柔軟性、回復力を提供しながら、オンデマンドで拡張する必要があります。金融サービス、ヘルスケア、オンライン ビジネス サービス、メディア、通信など、システム ユーザー数が増加し、その要件が絶えず変化する業界では、大規模なアプリケーションの使用が増えています。

[[247219]]

大規模アプリケーションを開発する際の課題の 1 つは、従来のディスクベースのデータベースに依存することです。これらのデータベースは、大規模になると許容できない遅延を引き起こします。さらに、運用データベースから分析データベースにデータを移動する抽出、変換、ロード (ETL) プロセスでは、データが分析される前に古くなることになります。現在、ディスクベースのデータベースによって生じる遅延を排除するための最もシンプルで効率的かつコスト効率の高い戦略は、インメモリ コンピューティング (IMC) プラットフォームを導入することです。

インメモリコンピューティングの簡単な紹介

インメモリ コンピューティングは、分散コンピューティング クラスター全体での超並列処理に基づいており、クラスター内で利用可能なすべてのメモリと CPU パワーを共有します。クラスターはコモディティ サーバーを使用して構築し、新しいノードを追加することで拡張できます。新しいノードが追加されると、システムはノード間のデータの分散を自動的に再調整し、非常に高いスケーラビリティとデータの冗長性を実現します。

IMC プラットフォームは、ディスクベースのデータベース上に直接構築されたアプリケーションよりも 1,000 倍以上の処理速度を実現できます。一部の IMC プラットフォームは ANSI-99 SQL および ACID トランザクションをサポートしているため、IMC プラットフォームを既存の大規模アプリケーションに統合し、インメモリ コンピューティング プラットフォームをアプリケーションの記録システムとして利用することが容易になります。

IMC プラットフォームの速度とスケーラビリティにより、ハイブリッド トランザクション/分析処理 (HTAP)、別名ハイブリッド運用/分析処理 (HOAP)、つまりトランザクション機能と分析機能を組み合わせた処理が可能になります。 HTAP は、システムのパフォーマンスに影響を与えることなく、大規模な運用データセットを分析できます。インメモリ コンピューティング プラットフォームなどの HTAP ソリューションに基づく大規模アプリケーションにより、企業はユーザーの行動をリアルタイムで把握し、行動の変化によって生じるあらゆる機会や脅威にリアルタイムで対応できるようになります。

IMC プラットフォームの主な機能と特徴は次のとおりです。

既存のアプリケーションのインメモリデータグリッドとして機能します

既存のアプリケーションの場合、IMC プラットフォームは、基盤となるデータベースを削除して置き換えることなく、アプリケーション層とデータ層の間に挿入されるインメモリ データ グリッド (IMDG) として機能します。基盤となる RDBMS、NoSQL、または Hadoop データベースのデータは、IMC クラスターのメモリにロードされます。クラスター ノード上で統合された超並列処理により、パフォーマンスが大幅に向上します。 IMDG が SQL をサポートしている場合、データ グリッドへの接続は、標準の SQL コマンドを使用してデータを操作および分析するのと同じくらい簡単です。

新しいアプリケーション用のインメモリデータベースとして機能する

新しいアプリケーションまたは再設計されたアプリケーションの場合、一部の IMC プラットフォームはスタンドアロンのインメモリ SQL データベース (IMDB) として機能できます。再起動や停電の際にメモリ内のデータが失われないように保護するには、「永続ストレージ」を使用するのがコスト効率の高い戦略です。これについては以下で説明します。

永続ストレージ

「永続ストレージ」機能は、通常のディスク、ソリッド ステート ディスク (SSD)、フラッシュ、3D XPoint、またはその他のストレージ クラス メモリ テクノロジ上に展開された分散 ACID トランザクションおよび ANSI-99 SQL 準拠のディスク ストレージ システムに追加できます。

IMDB の場合、永続ストレージは再起動や停電があってもデータを保持するため、アプリケーションはクラスター全体のメモリに保存されているより大きなデータ セットにアクセスできます。 IMDG の場合、永続ストレージにより、企業は運用データセット全体をディスク上に保存し、データセットのごく一部をメモリ内に保存できるため、インフラストラクチャ コストとアプリケーション パフォーマンスのバランスをとることができます。永続ストレージの重要な利点は、すべてのデータがメモリに再ロードされるのを待つことなく、サーバーの再起動後すぐにデータを操作できることです。

機械学習

一部の IMC プラットフォームには、超並列処理に最適化された、統合された完全分散型の機械学習およびディープラーニング ライブラリが搭載されています。これにより、各機械学習またはディープラーニング アルゴリズムを IMC クラスターの各ノードのメモリ内に存在するデータ上でローカルに実行できるようになり、PB 規模であってもパフォーマンスに影響を与えることなく機械学習またはディープラーニング モデルを継続的に更新できるようになります。

他のアプリケーションとの統合

IMC は、全体的なアーキテクチャ スタックの一部として機能し、他の有用なソリューションと簡単に統合できる必要があります。たとえば、Apache Ignite インメモリ コンピューティング プラットフォーム、Apache Kafka ストリーム処理プラットフォーム、Apache Spark 分散型汎用クラスター コンピューティング フレームワーク、Kubernetes オープン ソース コンテナー オーケストレーション システムなどのオープン ソース ソリューションをシームレスに統合できます。

オープンソース

上記のソリューションがすべてオープンソースであることは驚くことではありません。オープンソース ソリューションは、デジタル変革やオムニチャネル顧客エンゲージメントの取り組みを開始した企業にとって不可欠であり、大企業から小企業まで、大規模なアプリケーションの開発を可能にします。オープンソースは、はるかに低い初期投資でアプリケーションを開発するための、信頼性が高く実績のある戦略を提供します。ほとんどのオープンソース プロジェクトの標準ベースのアプローチによりベンダー ロックインが緩和されるため、企業は自社の運命をより細かく制御できるようになります。さらに、オープンソース プロジェクトは、従来の独自ベンダー モデルよりもはるかに速く大きなイノベーションをもたらすことができます。

大規模アプリケーションが期待されるメリットを実現するには、企業は大規模なリアルタイム アプリケーション パフォーマンスを実現する必要があります。 IMC は、ガートナーの予測に反映されているように、この目標を達成するための唯一の実用的かつ費用対効果の高い方法を提供します。

Gartner は、2019 年までにクラウド ネイティブ アプリケーション開発の 75% でインメモリ コンピューティングまたは IMC サービスが使用され、主流の開発者が高性能で非常にスケーラブルなアプリケーションを実装できるようになると予測しています。アーキテクト、開発者、CTO は、データ センターの将来にとって大規模アーキテクチャが重要であることを理解しており、インメモリ コンピューティング ソリューションが提供できるパワー、柔軟性、スケーラビリティをすぐに検討し始めています。

原題: Web スケール アプリケーションのパフォーマンス課題を解決する方法、著者: Nikita Ivanov

[51CTOによる翻訳。パートナーサイトに転載する場合は、元の翻訳者と出典を51CTO.comとして明記してください。