Kafka クラスターの構築

1. 背景

最近kafkaを勉強しています。 Mac 上で Kafka クラスターを構築する手順は次のとおりです。

2. ソフトウェアをインストールする

kafka は zookeeper に依存しているため、zookeeper をインストールする必要があります。 kafka は scala で書かれており、scala は jdk をベースにしているので、jdk をインストールする必要があります。

• JDK、jdk8 以上が推奨されます。ここではjdkのインストールは省略します。
• zookeeper、このマシン上に 3 ノードの zk 疑似クラスターを構築します。
• Kafka は 3 ノードの Kafka クラスターをローカルに構築します。

3. インストール手順

1. 3ノードのzk疑似クラスターを構築する

ip クライアント接続ポート クラスタ選択インターフェース クラスタ アトミック ブロードキャスト インターフェース server.id ID ノード名の値。現在使用されていません。これは hosts ファイルで設定されます。

知らせ：

• server.id の id 構成は、zoo.cfg 構成ファイルの dataDir 構成項目で指定されたディレクトリに myid ファイルを作成することによって指定されます。

1. Zookeeperインストールパッケージをダウンロードする

https://mirror.bit .edu.cn/ apache /zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gzを入手してください

2. 3つのコピーを解凍し、zookeeperディレクトリに配置します。

3. Zookeeper 構成ファイルを変更します。ここではzk01を例に挙げます。

• confディレクトリのzoo_sample.cfgをzoo.cfgに変更します。

• zoo.cfg設定ファイルを編集する

知らせ：

• ここではzk01を例に挙げます。複数のサーバーがローカルで起動されるため、ポートを変更する必要があります。
• 各サーバーの myid ファイルに対応する値は、異なっており、一意である必要があります。
• dataDir のパスを変更する必要があります。
• 残りの構成は、特定の状況に応じて変更できます。
• 3つのzkノードを起動する

それぞれzk01/bin、zk02/bin、zk03/binディレクトリに入り、次のコマンドを実行します。

 ./zkServer.sh --config ../conf 開始 

• zkクラスターに接続する

./zkCli.sh -server 127.0.0.1:2181,127.0.0.1:3181,127.0.0.1:4181

2. 3ノードのKafkaクラスターを構築する

知らせ：

• broker.id の値は一意の数値である必要があります。

1. Kafkaをダウンロードする

https://www.apache.org/dyn/closer.cgi?path=/kafka/2.6.0/kafka_2.13-2.6.0.tgz

2. 3つのコピーを解凍し、kafkaディレクトリに配置します。

3. server.properties ファイルを変更します。ここでは kafka01 を例に挙げます。

変更する必要があるプロパティ。ここでは、kafka01 を例として使用します。異なるインターフェースは特定の値を変更します。

4. 3つのkafkaノードを起動する

kafka01/bin、kafka02/bin、kafka03/binディレクトリに順番に入り、次のコマンドを実行します。

 ./kafka-server-start.sh ../config/server.properties &

5. カフカテスト

ここではkafka01を例として使用します

1. テーマを作成する

bin/kafka-topics.sh --create --topic test-001 --replication-factor 1 --partitions 1 --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094  

2. トピック情報を表示する

bin/kafka-topics.sh --describe --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094 --topic test-001  

3. 作成したトピックにメッセージを公開する

bin/kafka-console-producer.sh --topic test-001 --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094  

4. トピックに公開されたメッセージを読む

bin/kafka-console-consumer.sh --topic test-001 --from-beginning --bootstrap-server 127.0.0.1:9092,127.0.0.1:9093,127.0.0.1:9094  

この時点で、シンプルで使いやすい Kafka クラスターが構築されました。