Kafka ビジュアル Web インターフェース管理ツール: CMAK

KafKa クラスターを使用したことがある人なら誰でも知っているように、初心者が KafKa コマンドを覚えるのは難しいため、通常はページ上で操作できる管理ツールを探します。

今日は、ビジュアル Web インターフェイス管理ツールの 1 つである kafka-manager を紹介します。これは現在 CMAK に名前が変更されています。

[[335087]]

kafka-manager 管理ツールの紹介

これは Yahoo によって最初にオープンソース化され、非常に包括的な機能を備え、豊富なデータを表示します。同時に、ユーザーはインターフェース上でいくつかの簡単なクラスター管理操作を実行できます。

ただし、Yahoo はこれを CMAK (Cluster Manager for Apache Kafka) に名前変更しました。

CMAKでサポートされる機能

• 複数のクラスターの管理
• クラスターのステータス（トピック、コンシューマー、オフセット、ブローカー、レプリカ分散、パーティション分散）を簡単に確認
• 優先レプリカ選択を実行する
• 使用するブローカーを選択するオプションを使用してパーティション割り当てを生成する
• パーティションの再割り当てを実行する（生成された割り当てに基づく）
• オプションのトピック設定でトピックを作成します (0.8.1.1 は 0.8.2 以降とは異なる設定になっています)
• トピックを削除します (0.8.2 以降でのみサポートされており、ブローカー設定で delete.topic.enable = true を設定することを忘れないでください)
• トピックリストに削除対象としてマークされたトピックが表示されるようになりました (0.8.2 以降でのみサポートされます)
• 複数のトピックのパーティション割り当てをバッチ生成し、使用するブローカーを選択するオプションがあります。
• 複数のトピックのパーティションを再分配するためのバッチ実行
• 既存のトピックにパーティションを追加する
• 既存のテーマの設定を更新する
• オプションでブローカーレベルおよびトピックレベルのメトリックのJMXポーリングを開く
• Zookeeper に ID、所有者、オフセット、ディレクトリを持たないコンシューマーを選択的にフィルタリングします。

この管理ツールを展開してインストールする方法を説明します。

CMAK管理ツールのサポート範囲

1. Kafka 0.8以上をサポート
2. Java 11以降
3. Zookeeper はバージョン 3.5 以上である必要があります。

飼育員バージョンを含め、要件が非常に多いと言う人もいるかもしれません。この場合、バージョン 1.3.3.23 などの古いバージョンの Kafka-manager を選択できます。

一般ユーザーがJava 11環境を構成する

事前にJava11の圧縮パッケージをダウンロードし、指定された場所に解凍する必要があります。

ここでは次のように設定しました。

 $ vim ~/.bash_profile 
 
 JAVA_HOME=$HOME/3rd/jdk-11.0.4 をエクスポートします。
エクスポート CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 PATH=$JAVA_HOME/bin:$PATH をエクスポートします

有効な環境変数

$ ソース ~/.bash_profile

効果があるか検証します。デプロイした JDK ディレクトリ パスが表示されれば、正常に有効になっています。

 $ どのJava
 ~/3rd/jdk-11.0.4/bin/java

一般ユーザーはインストールパッケージをダウンロードする

公式サイトアドレス: https://github.com/yahoo/CMAK

ここでは、ダウンロード例としてバージョン 3.0.0.5 を取り上げます。

 $ wget https://github.com/yahoo/CMAK/releases/download/3.0.0.5/cmak-3.0.0.5.zip

インストール パッケージを解凍し、解凍したディレクトリに入ります。

 $ cmak-3.0.0.5.zip を解凍します$ cd cmak-3.0.0.5

設定ファイル application.conf を変更する

$ vim cmak-3.0.0.5/conf/application.conf

上記のコマンドを使用してファイルを編集して開き、実際の Kafka クラスターに対応する Zookeeper アドレスに次の 2 つの構成項目を構成します。

 kafka-manager.zkhosts = "kafka-manager-zookeeper:2181"  
 cmak.zkhosts = "kafka-manager-zookeeper:2181"  

サービスを開始する

デフォルトでは、ポート 9000 が使用されます。ポートが占有されている場合は、パラメータを使用してポートを指定できます。

 $ bin/cmak -Dconfig.file=conf/application.conf -Dhttp.port=9001

レンダリング

• 上の図の「クラスターの追加」をクリックして、クラスターの追加ウィザードに入ります。
• 管理するKafkaクラスタ情報を構成する

注: 管理および監視対象の Kafka クラスターで JMX_PORT が有効になっている場合は、追加の青色のオプションをチェックできます。それ以外の場合は、チェックせずに、デフォルトでチェックされていないままにしておきます。

エラー メッセージがある場合は、次のようになります。

やれやれ！ KeeperErrorCode = /kafka-manager/mutexには実装されていません。もう一度お試しください。

次に、Zookeeper をバージョン 3.5 以上にアップグレードする必要があります。

3. 作成が成功すると、Kafka の情報が表示されます。

結論

この管理ツールを通じて、トピックやパーティションなどの操作を実行できます。情報を取得するためにコマンドラインから Kafka クラスターを呼び出す必要がなくなり、効率が向上しました。

もう 1 つ: これまで kafka-manager/archive/1.3.3.23.tar.gz の圧縮パッケージを使用していましたが、新しいバージョンをデプロイした後も効果は同じです。デプロイした Kafka クラスターが最新の CMAK 要件をサポートしていない場合は、バージョン 1.3.3.23.tar.gz をダウンロードして試すことができます。