5つのビッグデータ処理/データ分析/分散ツール

[[241325]]

1. ハドゥープ

Hadoop は、シンプルなプログラミング モデルを使用して、コンピューターのクラスター全体の分散環境でビッグ データを保存および処理できるオープン ソース フレームワークです。単一のサーバーから数千台のマシンまで拡張できるように設計されており、各マシンはローカル コンピューティングとストレージを提供できます。

2. ドルイド

Druid は、リアルタイム データ分析ストレージ システムであり、Java 言語で最高のデータベース接続プールです。 Druid は強力な監視および拡張機能を提供できます。

Druid は、分散型の列指向のリアルタイム分析データ リポジトリであり、マルチテナント環境での探索ダッシュボードを強化するためによく使用されます。

データ ウェアハウス ソリューションとして、Druid はペタバイト規模のデータ セットに対する高速な集約クエリに優れています。 Druid は、さまざまな柔軟なフィルター、正確な計算、近似アルゴリズム、その他の便利な計算をサポートしています。

Druid はストリーミング データとバッチ データの両方をロードでき、Samza、Kafka、Storm、Spark、Hadoop と統合します。

3. アンバリ

ビッグデータプラットフォーム構築・監視ツール。 CDHに類似

Ambari は次のことが可能です。

Hadoopクラスタの提供

• Ambari は、任意の数のホストに Hadoop サービスをインストールするためのステップバイステップのウィザードを提供します。
• Ambari はクラスターの Hadoop サービスの構成を処理します。

Hadoop クラスターの管理

• Ambari は、クラスター全体の Hadoop サービスの開始、停止、再構成を集中管理します。

Hadoop クラスターの監視

• Ambari は、Hadoop クラスターの健全性とステータスを監視するためのダッシュボードを提供します。
• Ambari Leverage Ambari Metrics System はメトリックの収集に使用されます。
• Ambari は、システムアラートに使用され、注意が必要な場合 (ノードがダウンしている、ディスクの残り容量が少ないなど) に通知する Ambari アラート フレームワークを活用します。

4. スパーク

高速かつ汎用的なクラスター コンピューティング システム。 Java、Scala、Python、R の高レベル API と、汎用実行グラフをサポートする最適化されたエンジンを提供します。大規模データ処理フレームワーク (企業における一般的な 3 つのデータ処理シナリオに対応可能: 複雑なバッチ データ処理、履歴データに基づくインタラクティブ クエリ、リアルタイム データ ストリームに基づくデータ処理、Ceph: Linux 分散ファイル システム)。

5. 嵐

Storm は、無料、オープン ソース、分散型、高度なフォールト トレランスを備えたリアルタイム コンピューティング システムです。 Storm は継続的なストリーム コンピューティングを容易にし、Hadoop バッチ処理では満たせないリアルタイム要件を補います。 Storm は、リアルタイム分析、オンライン機械学習、継続的なコンピューティング、分散リモート呼び出し、ETL でよく使用されます。 Storm の導入と管理は非常にシンプルで、同様のストリーミング コンピューティング ツールの中でもパフォーマンスが抜群です。