HBase 完全分散型クラスタの展開

1. はじめに

HBase は分散型の列指向のオープンソース データベースです。一般的なリレーショナルデータベースとは異なり、非構造化データを保存するのに適したデータベースです。もう 1 つの違いは、HBase が行ベースではなく列ベースのモデルであることです。 HBase は BigTable とまったく同じデータ モデルを使用します。ユーザーはデータ行をテーブルに保存します。データ行にはオプションのキーと任意の数の列が含まれます。 1 つ以上の列が ColumnFamily を形成します。 Fmaily の下の列は HFile に配置されているため、データのキャッシュが容易になります。テーブルはスパース形式で保存されるため、ユーザーは行に対してさまざまな列を定義できます。 HBase では、データは主キーによってソートされ、テーブルは主キーに基づいて複数の領域に分割されます。

分散型の運用環境では、HBase は HDFS を基本的なストレージ ファシリティとして使用して HDFS 上で実行する必要があります。 HBase の上位層は、データにアクセスするための Java API 層を提供し、アプリケーションが HBase に保存されているデータにアクセスできるようにします。 HBase クラスターは、主にマスター、リージョン サーバー、Zookeeper で構成されます。具体的なモジュールは次の図に示されています。

HBase の関連モジュールの機能を簡単に紹介します。

マスター

HBase マスターは、複数の RegionServer を調整し、各 RegionServer の状態を検出し、RegionServer 間の負荷を分散するために使用されます。 HBaseMaster には、Region を RegionServer に割り当てる役割もあります。 HBase では複数のマスターノードを共存させることができますが、そのためには Zookeeper の助けが必要です。ただし、複数のマスター ノードが共存する場合は、1 つのマスターのみがサービスを提供し、他のマスター ノードはスタンバイ状態になります。動作中のマスター ノードがダウンすると、他のマスター ノードが HBase クラスターを引き継ぎます。

リージョンサーバー

RegionServer には複数のリージョンが含まれます。 RegionServer の役割は、テーブルを管理し、読み取りおよび書き込み操作を実装することだけです。クライアントは RegionServer に直接接続し、通信して HBase のデータを取得します。リージョンは、HBase データが実際に保存される場所であり、つまり、リージョンは HBase の可用性と配布の基本単位です。テーブルが大きく、複数の CF で構成されている場合、テーブル内のデータは複数のリージョンに保存され、各リージョンに複数のストレージ ユニット (ストア) が関連付けられます。

動物園の飼育員

HBase にとって、Zookeeper の役割は非常に重要です。まず、Zookeeper は HBase Master の HA ソリューションです。つまり、Zookeeper は少なくとも 1 つの HBase マスターが実行されていることを確認します。 Zookeeper はリージョンとリージョン サーバーの登録を担当します。実際、Zookeeper は分散型ビッグデータ フレームワークにおけるフォールト トレランスの標準フレームワークとなっています。 HBase だけでなく、分散型ビッグデータに関連するほぼすべてのオープンソース フレームワークは、HA を実現するために Zookeeper に依存しています。

HBase クラスターは Hadoop クラスターをベースに構築されるため、HBase クラスターを構築する前に Hadoop クラスターを構築し、両者の互換性を考慮する必要があります。

2. 環境整備

（１）各サーバーのホスト名を変更し、hostsファイルを追加し、ファイアウォールをオフにする

[root@c7001 ~]# cat > > /etc/hosts < <  終了   
 192.168.16.135 c7001  
 192.168.16.80 c7002  
 192.168.16.95 c7003  
 192.168.16.97 c7004  
 192.168.16.101 c7005  
終了

（2）c7001はクラスタを起動するためにsshパスワードフリーログインを設定する

ssh-keygen -t rsa  
 sh-コピー-id -i ~/.ssh/id_rsa.pub c7001  
 ssh-copy-id -i ~/.ssh/id_rsa.pub c7002  
 ssh-copy-id -i ~/.ssh/id_rsa.pub c7003  
 ssh-copy-id -i ~/.ssh/id_rsa.pub c7004  
 ssh-copy-id -i ~/.ssh/id_rsa.pub c7005

（３）各サーバーはjdk1.7+で構成されている

[root@c7001 ~]# tar zxf jdk-8u171-linux-x64.tar.gz -C /opt/  
 [root@c7001 opt]# mv jdk1.8.0_171/ jdk1.8  
 [root@c7001 opt]# vim /etc/profile  
 JAVA_HOME =/opt/jdk1.8をエクスポートします。  
 PATHをエクスポート=$PATH:$JAVA_HOME/bin  
 [root@c7001 ~] ソース /etc/profile  
 [root@c7001 opt]# java -version  
 Javaバージョン「1.8.0_171

3. hbaseをインストールする

c7003 c7004 c7005  
 [root@c7003 opt]# tar zxf /usr/src/hbase-1.3.0-bin.tar.gz -C /opt/

設定ファイルを変更する

[root@c7003 hbase-1.3.0]# vim conf/hbase-env.sh  
 #jdk変数を変更する 
 JAVA_HOME =エクスポート  JAVA_HOME = /opt/jdk1.8.0_121  
 #HBase 独自の Zookeeper をオフにして、Zookeeper クラスターを使用します。  
エクスポートHBASE_MANAGES_ZK = false  

hbase-site.xml を編集し、構成ファイルを追加します。

 <? xml  バージョン= "1.0" ?>    
 <? xml スタイルシート タイプ= "text/xsl"   href = "configuration.xsl" ?>    
 <構成>    
 <プロパティ>     
 <名前> hbase.rootdir</名前>     
 <値> hdfs://c7001:9000/hbase </値>     
 </プロパティ>     
 <プロパティ>     
 <名前> hbase.cluster.distributed </名前>     
 <値>真</値>     
 </プロパティ>     
 <プロパティ>     
 <名前> hbase.zookeeper.quorum </名前>     
 <値> c7003、c7004、c7005 </値>     
 </プロパティ>     
 <プロパティ>     
 <名前> hbase.zookeeper.property.dataDir </名前>     
 <値> /opt/hbase-1.3.0/tmp/zk/data </​​値>     
 </プロパティ>    
 </構成>    
 vi リージョンサーバー 
 #次のコンテンツを追加します:  
 c7004  
 c7005

Hbaseを他のマシンにコピーする

[root@c7003 opt]$ scp -r hbase-1.3.0 root@c7004:/opt/  
 [root@c7003 opt]$ scp -r hbase-1.3.0 root@c7005:/opt/

クラスターを起動する

[root@c7003 hbase-1.3.0]$ bin/start-hbase.sh

ウェブアクセスIP:16010

各ノードのプロセス（画像は複製中）