第7回ビッグデータバッチ処理プラットフォームと分散分析データベーステストの観察

2018年12月13日、中国情報通信研究院と中国通信標準化協会が主催し、TC601ビッグデータ技術標準化推進委員会が主催する「2018年データ資産管理カンファレンス」が北京で開催されました。会議では、中国通信標準化協会の戴暁輝常務副秘書長と中国情報通信研究院党委員会の喬法民副書記が共同で、第7回分散バッチ処理プラットフォーム基本機能・性能と分析データベース基本機能・性能評価に合格した15社に認定書を授与した。

ビッグデータ業界のベンチマーク、テスト規模が新たな高水準を記録

4年間の開発を経て、DCAビッグデータ製品能力評価は中国で権威ある評価システムとなり、メーカーの製品開発とユーザーの購入選択の風向計となりました。これまで実施された評価の中で、性能評価のための最大のテストデータセットは100TBに達し、これは世界有数のデータ規模です。分散バッチ処理プラットフォームの基本機能テストの最大クラスターサイズが10,000ノードに達し、Alibaba Cloudによって完了しました。パフォーマンステストのクラスターの最大サイズは300ノードに達し、そのうちHuaweiは300の物理マシンノードのパフォーマンス評価に合格し、Alibaba Cloudは300のクラウドサービスノードのパフォーマンス評価に合格し、H3Cは200の物理マシンノードのパフォーマンス評価に合格しました。

評価プロジェクトは広範囲に及び、評価サービスは信頼性が高く権威がある。

同時に、分散バッチ処理プラットフォームの基本的な機能評価では、可用性、運用・保守管理、互換性、機能性、セキュリティ、マルチテナント性、使いやすさ、スケーラビリティなど、9 つのカテゴリのテスト項目をカバーしています。分析データベースの基本的な機能評価には、機能性、運用と保守、セキュリティ、拡張性、可用性、互換性の 6 つのカテゴリのテスト項目が含まれます。分散バッチ処理プラットフォームのパフォーマンス評価には、SQL 負荷、NoSQL 負荷、機械学習の 3 つの主要項目が含まれます。分析データベースのパフォーマンス評価には、SQL 負荷、混合負荷、ストレス テスト、安定性テストの 4 つの主要項目が含まれます。各カテゴリーの評価項目は広範囲にわたる総合的な側面をカバーしており、業界で最も権威があり信頼性の高い専門的な評価です。

評価結果を詳細に観察して違いを発見し、傾向を分析する

2018年6月から2018年11月まで、Gridsum Technology、Aerospace Star、Tencent Cloud、Nanwei、H3C、Guangzhou Huizhi、Huayu、ZTE、Inspur、Baosight、DreamWorks、Alibaba Cloud、Aerospace Information、Dabao Technology、Baiduなど15社の18製品が、第7回分散バッチ処理プラットフォームの基本機能/性能および分析データベースの基本機能/性能評価に参加しました。全体的な評価から、次のようなことが言えます。

分散バッチ処理プラットフォームの基本的な機能に関しては、製品は成熟しており安定しています。全体として、製品の 71% は HDP および CDH のオープン ソース バージョンに基づいて二次開発されており、残りはオープン ソース コミュニティ バージョンに基づいているか、完全に自社開発されています。同時に、コンテナ化、AI のサポート、大規模クラスターのサポートは、分散バッチ処理プラットフォームの主なトレンドです。分析データベースの基本的な機能に関しては、製品のアーキテクチャと機能が大きく異なります。 1 つは、オープンソース データベースをベースにカプセル化して二次開発を行う方法です。もう 1 つのタイプは、SQL エンジンを特定のリポジトリに移植することです。また、完全に自社開発の製品もございます。機能上の違いは主に、SQL の互換性、運用・保守管理、スケーラビリティなどの面で反映されます。分散バッチ処理プラットフォームのパフォーマンスに関しては、基本的に上半期の第6回テストと同じです。 SQL テストの最高スコアと中央値はわずかに低下し、HBase テストの結果は概ね前回のバッチに近いものとなっています。分析データベースのパフォーマンスに関しては、Gridsum Technology は優れた結果を達成し、このバッチで MPP パフォーマンス評価に合格した唯一の企業となりました。

注: MPP (Massively Parallel Processing) は、複数のプロセッサが同じプログラムの異なる部分を処理し、各プロセッサが独自のオペレーティング システムとメモリを使用するプログラムの調整プロセスです。