HDFS 分散ストレージにおける NameNode と DataNode の違いは何ですか?

インターネットが飛躍的に発展し続けるにつれ、データは徐々に技術と経済の発展の中核となってきました。インターネット時代においては、人間にとっても企業にとっても、それはさらに重要です。一般の人々にはあまり影響がないかもしれませんが、国や大企業にとってデータは生命線であり、人工知能は膨大なデータの最良の証拠の一つです。

したがって、データストレージの安定性は、ある程度、人類の経済性の高さを決定する可能性があります。

[[349338]]

「しかし、多くの人はパソコンインターネットが何なのかまだわかっていない。モバイルインターネットは既に存在しており、モバイルインターネットが理解されていない限り、ビッグデータの時代が再び到来する」とジャック・マー氏は退任時に語った。ビッグデータの応用は急速な発展期を迎えており、今後は新たなビジネスモデルの出現によりさらなる発展が期待されます。

人工知能、5G、モノのインターネットが主導する新たな情報技術革命により、データセンターの急速な成長がストレージ業界チェーンの需要の大幅な増加につながっています。世界と中国におけるデータストレージ需要の急速な増加は、必然的に産業チェーンの繁栄を伴います。

現在、市場では HDFS 分散ストレージ システムが話題になっており、さまざまな企業も分散ストレージ システムを構築する傾向にあります。

では、HDFS 分散ストレージとは何でしょうか?

HDFS 分散ストレージ パブリック チェーンは、完全な個人データ ストレージ ソリューションです。これは、P2P 形式の無数のノードで構成され、データ ストレージ アレイを形成します。 POC+POST デュアルコンセンサスメカニズムを使用して報酬を識別および分配し、暗号化メカニズムを使用してデータ転送および保存プロセスを保護し、安全で効率的かつ経済的な個人データ保存ソリューションの完全なセットを形成します。

分散ストレージフレームワーク

分散ストレージ テクノロジの実装は、多くの場合、基盤となる分散ストレージ フレームワークと切り離せません。ストレージの種類によって、ブロックストレージ、オブジェクトストレージ、ファイルストレージに分けられます。主流の分散ストレージ技術の中で、HDFS はファイルストレージに属し、Swift はオブジェクトストレージに属し、Ceph はブロックストレージ、オブジェクトストレージ、ファイルストレージをサポートしているため、統合ストレージと呼ばれています。

HDFS は Hadoop のコア コンポーネントの 1 つであり、分散コンピューティングにおけるデータ ストレージ管理の基盤です。汎用ハードウェア上で実行するのに適した分散ファイルシステムとして設計されています。

HDFS 機能モジュール

（１）クライアント

クライアントは、ユーザーが HDFS と対話するための手段です。ファイルを HDFS にアップロードする場合、クライアントはファイルをブロックに分割してからアップロードします。クライアントは NameNode と対話してファイルの場所情報を取得し、DataNode と対話してデータを読み書きします。クライアントは、HDFS を管理するための NameNode フォーマットやその他のコマンドも提供できます。同時に、クライアントは HDFS を追加、削除、変更、クエリすることで HDFS にアクセスできます。

（２）ネームノード

NameNode は HDFS のマスター アーキテクチャです。ファイル システム ツリーと、ツリー全体のすべてのファイルとディレクトリを管理します。 NameNode は、クライアントの読み取りおよび書き込み要求の処理、データ ブロック マッピング情報の管理、レプリケーション戦略の構成、および HDFS ファイル システム内のその他の管理タスクを担当します。

（３）データノード

NameNode がコマンドを発行し、DataNode が実際の操作を実行します。 DataNode は実際に保存されたデータ ブロックを表し、データ ブロックに対して読み取りおよび書き込み操作を実行できます。

(4) セカンダリネームノード

セカンダリ ネームノードの機能は、主にネームノードを支援し、その作業負荷を共有することです。緊急時にネームノードの回復を支援することはできますが、ネームノードを交換してサービスを提供することはできません。

HDFSの利点

• フォールト トレランス: データの複数のコピーが自動的に保存されます。レプリカを追加することでフォールト トレランスを向上します。コピーの 1 つが失われた場合、自動的に復元できます。
• ビッグデータを処理可能: GB、TB、さらにはPBレベルのデータを処理可能。 100 万を超えるファイルを処理できます。
• 安価なマシン上に構築でき、マルチコピーメカニズムを通じて信頼性を向上できます。

HDFSの特徴

• 障害検出と回復 – HDFS は大量の実稼働ハードウェアで構成されているため、コンポーネント障害が頻繁に発生します。したがって、HDFS には、障害を高速かつ自動的に検出して回復するメカニズムが必要です。
• データセットの管理 – HDFS には、大規模なデータセットを持つアプリケーションを管理するために、クラスターごとに数百のノードがあります。
• データ ハードウェア処理 - 計算が物理的にデータに近い場合、要求されたタスクを効率的に完了できます。特に大規模なデータ セットが関係する場合、ネットワーク トラフィックが削減され、スループットが向上します。

HDFSの特徴

• データの分散ストレージと処理。
• Hadoop は、HDFS と対話するためのコマンド インターフェイスを提供します。
• ネームノードとデータノードの組み込みサーバーは、ユーザーがクラスターのステータスを簡単に確認するのに役立ちます。
• ファイル システム データへのストリーミング アクセス。
• HDFS はファイルの権限と認証を提供します。

HDFS アーキテクチャ

以下に Hadoop ファイル システムのアーキテクチャを示します。

HDFS の要素:

（１）ナメノド

Namenode は、GNU/Linux オペレーティング システムを搭載した製品ハードウェアです。製品のハードウェア上で動作するソフトウェアです。 Namenode を備えたシステムはマスター サーバーとして機能し、次のタスクを実行します。

• ファイルシステムの名前空間の管理
• ファイルへのクライアントアクセスの規制
• ファイルやディレクトリの名前変更、閉じる、開くなどのファイル システム操作を実行します。

（２）データノード

Datanode は、GNU/Linux オペレーティング システムとデータ カーネル ソフトウェアを搭載した実動ハードウェアです。クラスター内の各実稼働ハードウェア/システムには、そのシステムのデータ ストレージを管理するデータ ノードが存在します。

クライアントの要求に基づいて、ファイル システム上で読み取りおよび書き込み操作を実行します。

ネームノードの指示に従って、ブロックの作成、削除、複製などの操作を実行します。

（３）ブロック

通常、ユーザー データは HDFS 内のファイルに保存されます。ファイル システム内のファイルは 1 つ以上のフラグメントに分割され、単一のデータ ノードに保存されます。これらのファイル セグメントはブロックと呼ばれます。つまり、HDFS が読み書きできる最小のデータ量はブロックと呼ばれます。デフォルトのブロック サイズは 64 MB ですが、HDFS 構成に応じて変更できます。