「クラウドネイティブ」Apache Livy on k8s 解説と実践的な運用

「クラウドネイティブ」Apache Livy on k8s 解説と実践的な運用

1. 概要

Livy は、Spark クラスターと対話するための REST インターフェイスを提供するサービスです。 Spark ジョブまたは Spark コードを送信し、同期的または非同期的に結果を返すことができます。また、Restful インターフェースまたは RPC クライアント ライブラリを介して Sparkcontext 管理も提供します。 Livy は Spark およびアプリケーション サービスとのやり取りも簡素化し、Web/モバイル経由で Spark の使用とやり取りできるようにします。

公式サイト: https://livy.incubator.apache.org/GitHub アドレス: https://github.com/apache/incubator-livy Apache Livy の詳細については、私の記事「Spark Open Source REST Service - Apache Livy (Spark Client)」も参照してください。

2. オーケストレーションとデプロイメントを開始する

1. 展開パッケージの準備

コンパイルされた livy デプロイメント パッケージもここに提供されます。必要な場合は、自分でダウンロードできます。

リンク: https://pan.baidu.com/s/1pPCbe0lUJ6ji8rvQYsVw9A?pwd=qn7i 抽出コード: qn7i

1) イメージを構築する

Dockerファイル

 myharbor.com/bigdata/centosより: 7.9.2009​​​

 RUN rm -f / etc / localtime && ln -sv / usr / share / zoneinfo / Asia / Shanghai / etc / localtime && echo "アジア/上海" > / etc / timezone
実行エクスポート LANG = zh_CN .UTF - 8

 ### ツールをインストールする
yum install -y vim tar wget curl less telnet net -tools lsof を実行します。

実行 groupadd --system --gid=9999 admin && useradd --system -m /home/admin --uid=9999 --gid=admin admin

 mkdir -p / opt / apacheを実行します

apache-livy-0.8.0-incubating-SNAPSHOT-bin.zip/opt/apache/​​​​​​​​​​​​ を追加します。
 ENV LIVY_HOME =/ opt / apache / apache - livy
 RUN ln - s / opt / apache / apache - livy - 0.8 .0 - incubating - SNAPSHOT - bin $LIVY_HOME

 ADD hadoop - 3.3 .2 .tar .gz / opt / apache /
 ENV HADOOP_HOME =/ opt / apache / hadoop
実行ln -s / opt / apache / hadoop - 3.3 .2 $HADOOP_HOME
 ENV HADOOP_CONFIG_DIR = $ { HADOOP_HOME } / etc / hadoop

 ADD spark - 3.3.0 - bin - hadoop3.tar.gz / opt / apache /
 ENV SPARK_HOME =/ opt / apache / spark
実行 ln -s / opt / apache / spark - 3.3.0 - bin - hadoop3 $SPARK_HOME

環境変数PATH = $ { LIVY_HOME } / bin : $ { HADOOP_HOME } / bin : $ { SPARK_HOME } / bin : $PATH

 chown - R admin を実行します: admin / opt / apache

ワークディレクトリ $LIVY_HOME

 ENTRYPOINT $ { LIVY_HOME } / bin / livy - server start ; tail -f $ { LIVY_HOME } /ログ/ livy -ルート-サーバー.out

[注記] hadoop パッケージ内の core-site.xml、hdfs-site.xml、yarn-site.xml

イメージの構築を開始する

 docker build -t myharbor .com / bigdata / livy : 0.8.0 。 --キャッシュなし

### パラメータの説明
# - t: 画像名を指定する
＃ . ： 現在のディレクトリ Dockerfile
 # - f: Dockerfileのパスを指定する
# --no-cache: キャッシュなし

# 港へ向かう
docker push myharbor .com / bigdata / livy : 0.8 .0

2) リヴィチャートテンプレートを作成する

ヘルムクリエイトリヴィ

3) YAMLレイアウトを変更する

livy/values.yaml 

レプリカ数: 1

画像：
 リポジトリ: myharbor.com/bigdata/livy
 プルポリシー: IfNotPresent
 # デフォルトがチャートの appVersionであるイメージ タグをオーバーライドします。
 タグ: "0.8.0"

セキュリティコンテキスト:
 実行ユーザー: 9999
 実行グループ: 9999
 特権： true

サービス：
 タイプ: NodePort
 ポート: 8998
 ノードポート: 31998

livy/テンプレート/configmap.yaml 

 APIバージョン: v1
種類: ConfigMap
メタデータ:
 名前: { { "livy.fullname"を含めます。 } }
 ラベル:
 { { - "livy.labels"を含めます。 |ニンデント4 } }
データ：
 livy.conf : |-
 livy .spark .master =糸
 livy .spark .deploy -モード=クライアント
 livy .environment =生産
 リヴィ.impersonation .enabled = true
 livy .server .csrf_protection .enabled = false
 livy .server .port = { { .Values ​​.service .port } }
 livy .server .session .timeout = 3600000
 livy .server .recovery .mode =リカバリ
 livy .server .recovery .state -ストア=ファイルシステム
 livy .server .recovery .state - store .url = / tmp / livy
 livy .repl .enable - hive - context = true
 livy-env.sh : | -
 JAVA_HOME =/ opt / apache / jdk1.8.0_212をエクスポートします。
 HADOOP_HOME をエクスポートします=/ opt / apache / hadoop
 HADOOP_CONF_DIR をエクスポートします=/ opt / apache / hadoop / etc / hadoop
 SPARK_HOME をエクスポートします=/ opt / apache / spark
 SPARK_CONF_DIR =/ opt / apache / spark / conf をエクスポートします。
 LIVY_LOG_DIR =/ opt / apache / livy / logs をエクスポートします
 エクスポート LIVY_PID_DIR =/ opt / apache / livy / pid - dir
 エクスポート LIVY_SERVER_JAVA_OPTS = "-Xmx512m"
 spark -ブラックリスト.conf : |-
 スパーク.マスター
 spark.submit.deployMode

 # Spark のキャッシュされた jar の場所の上書きを禁止します。
 スパーク.ヤーン.jar
 スパーク.yarn .jar
 スパーク.ヤーン.アーカイブ

 #ユーザーが RSC タイムアウトを上書きすることを許可しません。
 livy.rsc.server.アイドルタイムアウト

livy/テンプレート/デプロイメント.yaml 

 apiバージョン:アプリ/ v1
種類:デプロイメント
メタデータ:
 名前: { { "livy.fullname"を含めます。 } }
 ラベル:
 { { - "livy.labels"を含めます。 |ニンデント4 } }
仕様:
 { { - .Values ​​.autoscaling .enabledでない場合} }
 レプリカ: { { .Values ​​.replicaCount } }
 { { -終わり} }
 セレクター:
 マッチラベル:
 { { - "livy.selectorLabels"を含めます。 |ニンデント6 } }
 テンプレート：
 メタデータ:
 { { - .Values ​​.podAnnotationsを使用} }
 注釈:
 { { - toYaml 。 |ニンデント8 } }
 { { -終わり} }
 ラベル:
 { { - "livy.selectorLabels"を含めます。 |ニンデント8 } }
 仕様:
 { { - .Values ​​.imagePullSecretsを使用} }
 イメージプルシークレット:
 { { - toYaml 。 |ニンデント8 } }
 { { -終わり} }
 serviceAccountName : { { "livy.serviceAccountName"を含めます。 } }
 セキュリティコンテキスト:
 { { - toYaml .Values ​​.podSecurityContext |ニンデント8 } }
 コンテナ:
 -名前: { { .Chart .Name } }
 セキュリティコンテキスト:
 { { - toYaml .Values ​​.securityContext |ニンデント12 } }
 画像: "{{ .Values.image.repository }}:{{ .Values.image.tag | default .Chart.AppVersion }}"
 イメージプルポリシー: { { .Values ​​.image .pullPolicy } }
 ポート:
 -名前: http
 コンテナポート: 8998
 プロトコル: TCP
 ライブネスプローブ:
 httpGet :取得:
 パス： /
 ポート: http
 準備状況プローブ:
 httpGet :取得:
 パス： /
 ポート: http
 リソース：
 { { - toYaml .Values ​​.resources |ニンデント12 } }
 { { - .Values ​​.securityContextを使用} }
 セキュリティコンテキスト:
 実行ユーザー: { { .runAsUser } }
 実行グループ: { { .runAsGroup } }
 特権: { { .privileged } }
 { { -終わり} }
 ボリュームマウント:
 -名前: { { .Release .Name } } - livy - conf
 マウントパス: /opt/apache/livy/conf/livy.conf
 サブパス: livy.conf
 -名前: { { .Release .Name } } - livy - env
 マウントパス: /opt/apache/livy/conf/livy-env.sh
 サブパス: livy-env.sh
 -名前: { { .Release .Name } } - spark -ブラックリスト- conf
 マウントパス: /opt/apache/livy/conf/spark-blacklist.conf
 サブパス: spark - blacklist.conf
 { { - .Values ​​.nodeSelectorを使用} }
 ノードセレクタ:
 { { - toYaml 。 |ニンデント8 } }
 { { -終わり} }
 { { - .Values ​​.affinityを使用} }
 親和性:
 { { - toYaml 。 |ニンデント8 } }
 { { -終わり} }
 { { - .Values ​​.tolerationsを使用} }
 許容範囲:
 { { - toYaml 。 |ニンデント8 } }
 { { -終わり} }
 巻数:
 -名前: { { .Release .Name } } - livy - conf
 構成マップ:
 名前: { { "livy.fullname"を含めます。 } }
 -名前: { { .Release .Name } } - livy - env
 構成マップ:
 名前: { { "livy.fullname"を含めます。 } }
 -名前: { { .Release .Name } } - spark -ブラックリスト- conf
 構成マップ:
 名前: { { "livy.fullname"を含めます。 } }

4) 展開を開始する

 helm で livy をインストールします。/livy -n livy --create-namespace

注記

注記:
 1.次のコマンドを実行してアプリケーション URL を取得します。
 NODE_PORT をエクスポートします。 $ ( kubectl get --namespace livy -o jsonpath="{.spec.ports[0].nodePort}" services livy)
 NODE_IP をエクスポートします。 $ ( kubectl get nodes --namespace livy -o jsonpath="{.items[0].status.addresses[0].address}")
 httpをエコー: // $NODE_IP : $NODE_PORT

チェック

 kubectl get pods 、 svc - n livy - wide を実行します。

ウェブアドレス: http://192.168.182.110:31998/ui

5) テスト検証

 curl -s - ​​​​​​​​​​110 : 31998 /バッチ| python - mjson.tool

6) アンインストール

 helm アンインストール livy -n livy

Git アドレス: https://gitee.com/hadoop-bigdata/livy-on-k8s​

<<:  図 |監視システムPrometheusの原理

>>:  現代の製造業におけるクラウドコンピューティングベースのテクノロジーの重要性

推薦する

lunanode-512mメモリVPS/13IP/月額8ドル

lunanodeさん、Host Catさんが私を推薦する理由はIPのためです。残りについては詳しく言...

100人に対して1人で戦った「被告」周洪義。周洪義は「無責任」なのか？金を払ってでも謝罪は可能か？

周洪一氏は常に「被告」であり、その数と頻度はインターネット業界ではめったに匹敵しない。結局のところ、...

タオバオの売り手は小さくて美しい運営の考え方を持つべきだ

電子商取引の発展により、多くの若者がインターネット上で独自のビジネスを始めるようになりました。Tao...

今年、ライブストリーミングが急に人気になったのはなぜでしょうか？

ニッチな韓国のスキンケアブランドであるヘノは中国ではあまり知られていないが、主力の洗顔料はアンカーの...

テンセントがAI+業界レポートカードを発表、数百の業界に応用

「テンセントAIは消費者向けインターネット分野で膨大な経験を蓄積しており、産業向けインターネット分野...

コロクロッシングはどうですか?コロクロッシングロサンゼルスVPSの簡単なレビュー

11月末にロサンゼルスデータセンターでcolocrossingのVPSブランドが立ち上げられ、ロサン...

Amazon Web Services、Amazon Cloud WANの一般提供を発表

2022 年 8 月 2 日、Amazon Web Services は、完全に管理されたワイドエリ...

持続可能性は企業のクラウド移行における重要な考慮事項となっている

気候への影響を軽減するためにクラウドへの移行を検討している企業にとって、持続可能性はますます重要な要...

高級品ウェブサイトは厳しい冬を迎える：3つのウェブサイトが閉鎖

数万元から数十万元もする高級ブランドに比べ、中高級市場に位置する数千元から数万元程度の軽奢品がホワイ...

#BlackFriday# sharktech: Shark データセンター、専用サーバー 44 ドル、VPS 年間支払い 36 ドル、すべて 60G 防御付き

Sharktech（シャークデータセンター）がブラックフライデー5年目にして役立つ情報を配信しました...

2021年、エッジコンピューティングは転換点を迎える

COVID-19パンデミックは、新たな技術やビジネスの発展をほとんど生み出していませんが、すでに進行...

2.2 関連研究分野

2.2 関連研究分野ユーザー中心設計 (UCD、ユーザー中心システム設計 UCSD とも呼ばれる) ...

Pinduoduo は Qutoutiao を買収すべき

Pinduoduoが設立されてから 5 年が経ち、黄正氏は昨日全従業員に宛てた書簡で、同社の CEO...

中国オンライン広告年次インサイトレポート

パンデミック後の環境：全体的な環境は非常に不安定ですが、影響は軽減されており、広告主はマーケティング...

新しいウェブサイトがホームページで Baidu ランキングを獲得し、15 日以内にその記事を即座に収集するにはどうすればよいでしょうか?

同社のコーポレートサイトである同ドメイン名は、2011年12月9日に購入され、それ以降は未有効化のま...