15 分で Kubernetes 上に Apache Pinot をセットアップする

Kubernetes に Pinot コントロール プレーンをインストールし、最初の Pinot クラスターを構成する方法と、コントロール プレーンの機能について深く理解する方法を学びます。

熟練した専門家として、私は Apache Druid k8s オペレーターのメンテナーとして豊富な経験を積み、さまざまな k8s オペレーター/ライブラリの共同執筆や貢献を行ってきました。私の経験を通じて、Kubernetes 上でビッグデータをスムーズに運用するには、アプリケーション固有のコントロール プレーンを確立する必要があることに気づきました。

これまでの役職では、RillData の Druid、Startree の Pinot、Chistadata の Clickhouse 向けに Kubernetes コントロール プレーンを構築しました。 3 つの OLAP ショップすべてで働いた後、私は現在、Kubernetes 上でデータをシームレスに実行できるようにする効率的なコントロール プレーンの構築に重点を置いた最新のベンチャーである DataInfra に全力で取り組んでいます。

なぜピノのコントロールプレーンなのか?

私たちは、Kubernetes が、データと状態を持つアプリケーションを含むあらゆるアプリケーションのコントロール プレーンとして機能できると考えています。 Helm チャートは構成管理には便利ですが、アプリケーションの状態は維持されません。そのため、私たちはアプリケーション要件と Kubernetes インフラストラクチャ間の橋渡しとして機能する Kubernetes Operator パターンに基づいてコントロール プレーンを構築しました。

k8s 用の Pinot コントロール プレーンは、Apache Pinot クラスターを実行する際のユーザー エクスペリエンスを向上させるために特別に設計されています。分散データベースである Pinot は、適切なツールがなければ Kubernetes 上で実行するのが困難です。私たちのプロジェクトは DSOI 仕様に基づいており、Operator-Runtime ライブラリを使用して構築されており、よりユーザーフレンドリーで Kubernetes フレンドリーなエクスペリエンスを提供します。

このプロジェクトは Kubernetes オペレーター モデルに基づいていますが、このモデルに限定されません。 Pinot の複雑さを考えると、Kubernetes オペレーターだけに頼るだけでは、その運用を効果的に管理するには不十分な可能性があります。このプロジェクトのビジョンは、Kubernetes 上で Pinot をシームレスに展開および運用できるようにする包括的なツールとユーティリティのセットを作成することです。

Pinotコントロールプレーンをインストールする

Pinot コントロール プレーンは、Helm Chart ベースのデプロイメントをサポートします。チャートをインストールするには、次のコマンドを実行します。コントロール プレーンをブートストラップするには、Makefile コマンドを使用します。

• リポジトリをクローンする

git clone https://github.com/datainfrahq/pinot-control-plane-k8s.git

• Pinot コントロール プレーンをデプロイする - 次のコマンドは、pinot-control-plane 名前空間で helm を使用してコントロール プレーンをデプロイします。

 make helm-install-pinot-control-plane

• Zookeeper Operator と Zookeeper をデプロイします。次のコマンドは完了するまでに数分かかります。 zookeeper-operator名前空間にzookeeperオペレーターをデプロイし、pinot名前空間にzkステートフルセットをデプロイします。

 make helm-install-zk-operator

ピノ クラスターをインストールする

Kubernetes ストレージ クラスをエクスポートします。

 export STORAGE_CLASS_NAME=standard

• ピノ クラスターをインストールする

envsubst < examples/00-pinot-basic/pinot-basic.yaml | kubectl apply -f - -n pinot

Kafka クラスターをインストールしてトピックを作成する

• Helmリポジトリを追加し、Kafkaクラスターをインストールする

# Add Kafka helm repo add kafka https://charts.bitnami.com/bitnami # Deploy kafka helm install -n pinot kafka kafka/kafka --set replicas=1,zookeeper.image.tag=latest

• Kafka Podが起動したら、トピックを作成します。

 # Add Kafka helm repo add kafka https://charts.bitnami.com/bitnami # Deploy kafka helm install -n pinot kafka kafka/kafka --set replicas=1,zookeeper.image.tag=latest

ピノモードの作成

• Pinot コントロール プレーンはスキーマの作成をサポートします。

 kubectl apply -f examples/00-pinot-basic/pinotschema-basic.yaml -n pinot

Binoy テーブルを作成する

• Pinot コントロール プレーンはテーブルの作成をサポートしています。

 kubectl apply -f examples/00-pinot-basic/pinottable-basic.yaml -n pinot

Kafka へのデータの取り込み

• データをKafkaトピックに取り込む

kubectl apply -f examples/00-pinot-basic/pinot-realtime-kafka.yaml

Pinotコンソールにアクセスする

• ポート転送コントローラー ポッドまたは SVC を介して pinot コンソールにアクセスします。

 kubectl port-forward pinot-controller-controller-0 -n pinot 9000