Pulsar の展開とオンライン構成を 1 つの記事で学ぶ

1. パルサーのインストールと展開

1. インストールパッケージをダウンロードする

Pulsar インストール パッケージには、zookeeper、broker、bookie の 3 つのコンポーネントが含まれています。

Pulsarバイナリパッケージをダウンロード

 https://pulsar.apache.org/download/

圧縮ファイルを解凍する

 tar - zvxf apache -パルサー- 2.9 .1 - bin .tar .gz

2. Zookeeperをデプロイする

2.1 ZooKeeperの設定を変更する

ディレクトリを作成する

 mkdir -pデータ/ zookeeper

エコー1 >データ/ zookeeper / myid

zk設定を変更します。ファイルはconf/zookeeper.confにあります。

 # データディレクトリ
dataDir =データ/動物園管理人
# ログディレクトリ
dataLogDir =データ/飼育員/ログ
# zk クラスタ構成、サーバー.1 ~ n
サーバー.1 = 127.0 .0 .1 : 2888 : 3888

2.2 ZooKeeperをバックグラウンドで起動する

 bin / pulsar -デーモン起動 zookeeper
動物園の飼育係を起動しています...
 zookeeper を起動し、 /Users/ admin/work/software_install/apache-pulsar-2.9.1/logs/pulsar-zookeeper-M-C02GL1NTQ05P.log にログを記録します
注: conf / log4j2 .yaml でimmediateFlush をtrueに設定すると、ログ イベントがすぐにディスクにフラッシュされることが保証されます。パフォーマンス上の考慮により、デフォルトの動作はオフになっています。

pulsar-daemon による pulsar コンポーネントの管理

 bin / pulsar -デーモンヘルプ
エラー:十分な引数が指定されていません。
使用方法: pulsar - daemon ( start | stop | restart ) <コマンド> <引数... >
 ここで、コマンドは次のいずれかです:
 ブローカー ブローカーサーバーを実行する
 ブッキー ブッキーサーバーを実行する
 zookeeper zookeeperサーバーを実行する
 構成-ストア 構成-ストア サーバーを実行します
 websocket websocketプロキシサーバーを実行する
 関数-ワーカー 関数ワーカーサーバーを実行する
 スタンドアロン スタンドアロンのPulsarサービスを実行する
 proxy Proxy Pulsarサービスを実行する

注: pulsar-daemon コマンドを使用して、ブローカー、ブッキー、zookeeper などのコンポーネントを起動、停止、または再起動できます。

2.3 Zookeeperが正常に起動したかどうかを確認する

Zookeeper の起動ログと Zookeeper プロセスの表示

 ps アクス| grep 動物園飼育員

3. メタデータの初期化

3.1 初期化コマンドの説明

 bin / pulsar 初期化-クラスター-メタデータ\
 --cluster パルサー クラスター 1 \
 --zookeeper 127.0.0.1:2181 \
 --configuration-store 127.0.0.1:2181 \
 --web-service-url http://127.0.0.1:8080 \
 --web-service-url-tls https://127.0.0.1:8443 \
 --broker-service-url パルサー://127.0.0.1:6650 \
 --broker-service-url-tls パルサー+ssl://127.0.0.1:6651

パラメータの説明

パラメータの説明

注: ドメイン名は実稼働環境で使用できます。

3.2 初期化結果の表示

ビン/パルサー動物園の飼育係-シェル

[ zk : localhost : 2181 (接続済み) 1 ] ls /
 [管理者、ブックメーカー、元帳、パルサー、ストリーム、飼育係]

4. BookKeeper クラスターをデプロイする

4.1 設定の変更

 バインドアドレス= 127.0.0.1
アドバタイズされたアドレス= 127.0 .0 .1
 zkServers = 127.0 .0 .1 : 2181

パラメータの説明

4.2 コマンドの起動

 bin / pulsar -デーモン起動bookie
ブッキーを始めます...
 bookie を起動し、 /Users/ admin/work/software_install/apache-pulsar-2.9.1/logs/pulsar-bookie-M-C02GL1NTQ05P.log にログ記録します
注: conf / log4j2 .yaml でimmediateFlush をtrueに設定すると、ログ イベントがすぐにディスクにフラッシュされることが保証されます。パフォーマンス上の考慮により、デフォルトの動作はオフになっています。

4.3 ブッキークラスターのテスト

 bin / bookkeeper シェル simpletest --ensemble 1 --writeQuorum 1 --ackQuorum 1 -- numEntries 1000

 ...
 2022-02-19 T23 : 43 : 03 , 391 + 0800 [ main ] INFO org .apache .bookkeeper .tools .cli .commands .client .SimpleTestCommand - 722 エントリが書き込まれました
2022-02-19 T23 : 43 : 03,983 + 0800 [ main] INFO org .apache .bookkeeper .tools .cli .commands .client .SimpleTestCommand - 1000 エントリが元帳0 に書き込まれました
2022-02-19 T23 : 43 : 04 , 041 + 0800 [ main] INFO org .apache .bookkeeper .proto .PerChannelBookieClient - 127.0 .0 .1のチャネルごとのブッキークライアントを閉じています: 3181
 ...

注: simpletest コマンドを使用して、bookie クラスターにテスト データを書き込みます。テストが完了すると、テスト データは自動的に削除されます。

5. ブローカークラスターをデプロイする

5.1 構成の変更

動物園管理サーバ= 127.0 .0 .1 : 2181
構成ストアサーバー= 127.0 .0 .1 : 2181
 バインドアドレス= 127.0.0.1
 # デフォルトの InetAddress .getLocalHost ( ) .getHostName ( )
アドバタイズされたアドレス= 127.0 .0 .1
 clusterName =パルサー-クラスター- 1

5.2 ブローカーを起動する

 bin / pulsar -デーモン起動ブローカー
ブローカーを開始しています...
 ブローカーを起動し、 /Users/ admin/work/software_install/apache-pulsar-2.9.1/logs/pulsar-broker-M-C02GL1NTQ05P.log にログを記録します
注: conf / log4j2 .yaml でimmediateFlush をtrueに設定すると、ログ イベントがすぐにディスクにフラッシュされることが保証されます。パフォーマンス上の考慮により、デフォルトの動作はオフになっています。

5.3 クラスターの検証

クラスターノードの表示

 bin / pulsar -管理者ブローカーリストクラスター- 1
 「172.17.13.184:8080」

テストメッセージを送信する

 bin / pulsar -クライアントは永続的なものを生成します: // public / default / test - n 1 - m "Hello Pulsar"
 ...
 2022-02-20 T13 : 31 : 18,469 + 0800 [ main ] INFO org .apache .pulsar .client .cli .PulsarClientTool - 1 件のメッセージが正常に生成されました
...

テストメッセージを消費する

 bin / pulsar -クライアントは永続的に消費します: // public / default / test - n 100 - s "consumer-test" - t "Exclusive"
 ...
 ----- メッセージが届きました -----
キー: [ null ] 、プロパティ: [ ] 、コンテンツ: Hello Pulsar
 ...

概要: テスト クラスターが構築されました。次項では本番環境構成の調整項目について紹介します。

2. 本番環境の構成

1. マシン構成

以下は、3 つの Zookeeper ノード、3 つのブローカー ノード、5 つの Bookie ノードで構成される、本番環境用に構築された Pulsar クラスターです。

コンポーネント構成

コンポーネント構成
飼育係4 C8G100G * 3
ブローカー16 C64G500G * 3
ブッキー16 C64G500G * 5

注: 各コンポーネント クラスターは、高可用性を向上させるために、同じ都市の可用性ゾーン全体にデプロイできます。ブローカーはメッセージを保存するために 100 GB しか必要としませんが、ブッキーは通常、メッセージの量に基づいて計算される 3 TB などの、メッセージを保存するためのより大きなディスクを必要とします。

2. メモリの最適化

2.1 ブローカーメモリ調整

メモリ サイズが 64G であると仮定して、conf/pulsar_env.sh ファイル内の次の内容を変更します。

 PULSAR_MEM = $ { PULSAR_MEM : - "-Xms10g -Xmx10g -XX:MaxDirectMemorySize=20g" }

2.2 ブッキーメモリ調整

メモリ サイズが 64G であると仮定して、conf/bkenv.sh ファイル内の次の内容を変更します。

 BOOKIE_MEM = $ { BOOKIE_MEM : - $ { PULSAR_MEM : - "-Xms10g -Xmx10g -XX:MaxDirectMemorySize=20g" } }

3.ブローカー調整項目

注: パラメータは実際の状況に応じて調整されます。オンラインで負荷分散が有効になっている場合、重複したメッセージが見つかります。まずここを閉じてください。

4.ブッキー調整

構成項目の説明

注: 条件が許せば、journalDirectory と ledgerDirectories を異なるディスクに設定できます。

この記事はWeChatの公開アカウント「Guan Nong Lao Liang」から転載したものです。下のQRコードからフォローできます。この記事を転載する場合は、メロン農家ラオリャンの公開アカウントまでご連絡ください。