15 分で Kubernetes 上に Apache Pinot をセットアップする

15 分で Kubernetes 上に Apache Pinot をセットアップする

Kubernetes に Pinot コントロール プレーンをインストールし、最初の Pinot クラスターを構成する方法と、コントロール プレーンの機能について深く理解する方法を学びます。

熟練した専門家として、私は Apache Druid k8s オペレーターのメンテナーとして豊富な経験を積み、さまざまな k8s オペレーター/ライブラリの共同執筆や貢献を行ってきました。私の経験を通じて、Kubernetes 上でビッグデータをスムーズに運用するには、アプリケーション固有のコントロール プレーンを確立する必要があることに気づきました。

これまでの役職では、RillData の Druid、Startree の Pinot、Chistadata の Clickhouse 向けに Kubernetes コントロール プレーンを構築しました。 3 つの OLAP ショップすべてで働いた後、私は現在、Kubernetes 上でデータをシームレスに実行できるようにする効率的なコントロール プレーンの構築に重点を置いた最新のベンチャーである DataInfra に全力で取り組んでいます。

なぜピノのコントロールプレーンなのか?

私たちは、Kubernetes が、データと状態を持つアプリケーションを含むあらゆるアプリケーションのコントロール プレーンとして機能できると考えています。 Helm チャートは構成管理には便利ですが、アプリケーションの状態は維持されません。そのため、私たちはアプリケーション要件と Kubernetes インフラストラクチャ間の橋渡しとして機能する Kubernetes Operator パターンに基づいてコントロール プレーンを構築しました。

k8s 用の Pinot コントロール プレーンは、Apache Pinot クラスターを実行する際のユーザー エクスペリエンスを向上させるために特別に設計されています。分散データベースである Pinot は、適切なツールがなければ Kubernetes 上で実行するのが困難です。私たちのプロジェクトは DSOI 仕様に基づいており、Operator-Runtime ライブラリを使用して構築されており、よりユーザーフレンドリーで Kubernetes フレンドリーなエクスペリエンスを提供します。

このプロジェクトは Kubernetes オペレーター モデルに基づいていますが、このモデルに限定されません。 Pinot の複雑さを考えると、Kubernetes オペレーターだけに頼るだけでは、その運用を効果的に管理するには不十分な可能性があります。このプロジェクトのビジョンは、Kubernetes 上で Pinot をシームレスに展開および運用できるようにする包括的なツールとユーティリティのセットを作成することです。

Pinotコントロールプレーンをインストールする

Pinot コントロール プレーンは、Helm Chart ベースのデプロイメントをサポートします。チャートをインストールするには、次のコマンドを実行します。コントロール プレーンをブートストラップするには、Makefile コマンドを使用します。

  • リポジトリをクローンする
git clone https://github.com/datainfrahq/pinot-control-plane-k8s.git
  • Pinot コントロール プレーンをデプロイする - 次のコマンドは、pinot-control-plane 名前空間で helm を使用してコントロール プレーンをデプロイします。
 make helm-install-pinot-control-plane
  • Zookeeper Operator と Zookeeper をデプロイします。次のコマンドは完了するまでに数分かかります。 zookeeper-operator名前空間にzookeeperオペレーターをデプロイし、pinot名前空間にzkステートフルセットをデプロイします。
 make helm-install-zk-operator

ピノ クラスターをインストールする

Kubernetes ストレージ クラスをエクスポートします。

 export STORAGE_CLASS_NAME=standard
  • ピノ クラスターをインストールする
envsubst < examples/00-pinot-basic/pinot-basic.yaml | kubectl apply -f - -n pinot

Kafka クラスターをインストールしてトピックを作成する

  • Helmリポジトリを追加し、Kafkaクラスターをインストールする
# Add Kafka helm repo add kafka https://charts.bitnami.com/bitnami # Deploy kafka helm install -n pinot kafka kafka/kafka --set replicas=1,zookeeper.image.tag=latest


  • Kafka Podが起動したら、トピックを作成します。
 # Add Kafka helm repo add kafka https://charts.bitnami.com/bitnami # Deploy kafka helm install -n pinot kafka kafka/kafka --set replicas=1,zookeeper.image.tag=latest

ピノモードの作成

  • Pinot コントロール プレーンはスキーマの作成をサポートします。
 kubectl apply -f examples/00-pinot-basic/pinotschema-basic.yaml -n pinot

Binoy テーブルを作成する

  • Pinot コントロール プレーンはテーブルの作成をサポートしています。
 kubectl apply -f examples/00-pinot-basic/pinottable-basic.yaml -n pinot

Kafka へのデータの取り込み

  • データをKafkaトピックに取り込む
kubectl apply -f examples/00-pinot-basic/pinot-realtime-kafka.yaml

Pinotコンソールにアクセスする

  • ポート転送コントローラー ポッドまたは SVC を介して pinot コンソールにアクセスします。
 kubectl port-forward pinot-controller-controller-0 -n pinot 9000


<<:  ハイブリッドクラウドの長所と短所は何ですか?

>>:  クラウドコンピューティングがIoTのスケーラビリティを向上させる方法

推薦する

草の根ブログの運営方法: 手で「タップ」する

葉建輝氏は以前からインターネット上で活動しており、今年7月1日に自身のインターネットブログ「Huiz...

クラウドコンピューティング:現代のテクノロジーに不可欠な要素

ご存知のように、幼稚園では子どもの教育の初期段階で、将来の行動を形作るいくつかの基本原則を教えます。...

ドメイン名登録会社は「金儲けは簡単ではない」と嘆き、やめたいと考えている

最近、バスケットボールのスター選手ジェレミー・リンのドメイン名が他人によって登録され、インターネット...

ウェブサイトのトラフィックの減少を緩和するにはどうすればよいでしょうか?

前述のように、検索エンジンは依然としてウェブサイトにとって最も重要かつ価値のあるトラフィックソースで...

Coffee Host: 米国 CN2 高防御 + CC 防御、香港 CN2、VPS は月額 15 元から、25% オフ!

深セン普豪星辰科技有限公司のブランドコーヒーホストは、主に国内の高防御VPSと海外のVPS製品を取り...

エッジコンピューティングとクラウドコンピューティングを併用する 4 つのメリット

長年の開発と進歩を経て、今日ではコンピューティング戦略は大きく変化しました。より多くの企業が AI ...

#11.11# RackNerd: 米国 VPS は年間 11.11 ドルから、オプションのデータ センターは 5 つ、メモリ 1.11G/コア 1 個/SSD 11g/トラフィック 3T

Racknerd は、今年のダブル 11 の最新プロモーションを発表しました。サンノゼ、ダラス、シカ...

Baidu ウェブマスター プラットフォームの外部リンク データ分析を取得するための Python3 スクリプト

Baiduウェブマスターツールの外部リンクツールで照会された外部リンクデータを分析するために、Pyt...

COVID-19が続く中、クラウドへの移行が加速

[[354440]] COVID-19パンデミックが収束する兆しが見えない中、企業が自社のサーバー機...

Pinterest でマクドナルドのマーケティングを成功させるための 7 つのヒント

Pinterest は急速に成長し、世界が注目する新しいスターになっています。そのニュースを聞いたマ...

webmaster.comのSEM入札オンライン収益トレーニングの第2フェーズが受講生の募集を開始しました

1. オンライン入札とは何ですか?簡単に言えば、入札とは、Baidu、Google、Soso、Sog...

ウェブサイト構築システムプログラムを選択するには?

月収10万元の起業の夢を実現するミニプログラム起業支援プラン今日の技術は急速に発展しています。数十年...

30分でJD.comを理解する: 価値はいくらか? 評価モデルを分析する

JD.comの価値はいくらですか? JD.comの投資価値を総合的に分析したマインドマップ。 30 ...

「コンテンツこそが王であり、外部リンクこそが王である」の解釈

SEO 業界で働く人なら誰でも、「コンテンツは王様、外部リンクは皇帝」ということわざを知っていますが...

inceptionhosting - 月額 7.27 ドル - 2GB RAM XEN、素晴らしい

inceptionhosting は評判が良く、VPS の品質が保証されているサービス プロバイダー...