見逃せない新世代の分散タスクスケジューリングおよびコンピューティングフレームワーク

見逃せない新世代の分散タスクスケジューリングおよびコンピューティングフレームワーク

[[331036]]

PowerJob (旧称 OhMyScheduler) は、複雑なタスクのジョブ スケジューリングと分散コンピューティングを簡単に完了できる、新世代の分散スケジューリングおよびコンピューティング フレームワークです。

プロジェクトアドレス:

https://github.com/KFCFans/PowerJob?utm_source=tuicool&utm_medium=referral

導入

主な特徴

  • 使いやすい: フロントエンドの Web インターフェイスが提供され、開発者は視覚的にタスクのスケジュール管理 (追加、削除、変更、クエリ)、タスクの実行ステータスの監視、実行ログの表示を行うことができます。
  • タイミング戦略の改善: CRON 式、固定頻度、固定遅延、API の 4 つのタイミング スケジューリング戦略をサポートします。
  • 豊富な実行モード: スタンドアロン、ブロードキャスト、マップ、MapReduce の 4 つの実行モードをサポートします。 Map/MapReduce プロセッサを使用すると、開発者はわずか数行のコードでクラスター分散コンピューティング機能を実現できます。
  • DAGワークフローのサポート:タスクの依存関係のオンライン構成をサポートし、タスクを視覚的に配置します。また、上流タスクと下流タスク間のデータ転送もサポートします。
  • Executor は、Spring Bean、組み込み/外部 Java クラス、Shell、Python、その他のプロセッサなど、幅広いアプリケーションをサポートします。
  • 便利な操作とメンテナンス:オンラインログ機能をサポートします。 Executor によって生成されたログは、フロントエンドのコンソール ページにリアルタイムで表示できるため、デバッグ コストが削減され、開発効率が大幅に向上します。
  • 依存関係の削減: 最小の依存関係はリレーショナル データベース (MySQL/Oracle/MS SQLServer など) であり、拡張依存関係は MongoDB (巨大なオンライン ログを保存するために使用される) です。
  • 高可用性と高パフォーマンス: スケジューリング サーバーは、データベース ロックに基づく他のスケジューリング フレームワークとは異なり、ロックフリーのスケジューリングを実現するように慎重に設計されています。複数のスケジューリング サーバーを展開すると、高可用性とパフォーマンスの向上の両方を実現できます (無制限の水平拡張をサポート)。
  • フェイルオーバーとリカバリ: タスクが失敗した後、構成された再試行戦略に従って再試行できます。実行クラスターに十分なコンピューティング ノードがある限り、タスクは正常に完了できます。

適用可能なシナリオ

  • 完全なデータ同期や毎日の夜明けのビジネス レポート生成など、スケジュールされた実行要件を持つビジネス シナリオ。
  • ブロードキャスト実行モードを使用してクラスター ログをクリーンアップするなど、すべてのマシンを同時に実行する必要があるビジネス シナリオがあります。
  • 分散処理が必要なビジネス シナリオがあります。たとえば、大量のデータを更新する必要があり、単一のマシンで実行すると非常に長い時間がかかる場合、Map/MapReduce プロセッサを使用してタスクの分散を完了し、クラスター全体を動員して計算を高速化できます。

類似製品の比較

石英xxl-ジョブスケジューラX 2.0パワージョブ
タイミングタイプクロンクロンCRON、固定頻度、固定遅延、OpenAPI CRON、固定頻度、固定遅延、OpenAPI
タスクタイプ組み込みJava組み込みのJava、GLUE Java、Shell、Python、その他のスクリプト組み込みJava、外部Java(FatJar)、シェル、Python、その他のスクリプト組み込みJava、外部Java(コンテナ)、シェル、Python、その他のスクリプト
分散タスクなし静的シャーディングMapReduce ダイナミックシャーディングMapReduce ダイナミックシャーディング
オンラインタスク管理サポートされていませんサポートサポートサポート
ログ画面が白くなるサポートされていませんサポートサポートされていませんサポート
スケジューリング方法とパフォーマンスデータベースロックに基づいて、パフォーマンスのボトルネックが発生しますデータベースロックに基づいて、パフォーマンスのボトルネックが発生します未知ロック解除されたデザイン、上限のない強力なパフォーマンス
アラーム監視なし郵便ショートメッセージメール、開発者が拡張できるインターフェースを提供する
システム依存関係JDBC でサポートされるリレーショナル データベース (MySQL、Oracle など)マイグレーションRMB (パブリックベータ期間中は無料です。宣伝にご協力ください) Spring Data Jpa でサポートされている任意のリレーショナル データベース (MySQL、Oracle など)
DAGワークフローサポートされていませんサポートされていませんサポートサポート

PS: このプロジェクトの英語文書翻訳に多大な貢献をしてくれた文書翻訳プラットフォーム breword に感謝します。

参照する

  1. アリババスケジューラX 2.0  
  • Akka フレームワーク: akka-remote はネットワーク通信コードのかなりの部分を簡素化すると言わざるを得ません。
  • Executor アーキテクチャ設計: この記事にはあまり同意できません。私の個人的なデザインは、Yarn の「アーキテクチャ」とより一致していると感じています。
  • MapReduce モデル: アイデアは非常にクールです。ビッグデータ処理フレームワークはすべてプロセッサをデータに移動しますが、従来の Java アプリケーションでは、データをプロセッサに移動することもでき、これによりフレームワークの実装がはるかに簡単になります。
  • ブロードキャスト実行: ログのクリーンアップスクリプトなどを実行すると、非常に実用的になります 8~

<<:  SAP: インテリジェントなイノベーション、双方にメリットのある協力、企業のインテリジェントな変革を推進

>>:  クラウド コンピューティングと DevOps: 継続的インテグレーション/継続的デリバリーと市場分析

推薦する

justhost シンガポール VPS はいかがでしょうか?月額36元で200Mの帯域幅で無制限のトラフィックを提供するシンガポールVPSの簡単なレビュー

Justhost は今週、シンガポール VPS 事業を開始しました。ご存知のとおり、シンガポールは地...

azzavps-5 USD/月 50M 無制限/512M メモリ/カンザス

AzzVPS はニュージーランドの VPS 事業です。設立されてまだそれほど経っていませんが、勢いを...

[更新] アメリカのクラウドサーバー、コスト効率が良く評判の良い商人の推薦

アメリカのクラウドサーバーベンダーはあまりにも多く、本物のクラウドを見分けられない人が多いです。クラ...

コットンクラウド:新年プロモーション、十堰高防御259元から、秦皇島BGPマルチシールド融合、AIインテリジェント保護100G

Mianhua Cloud は、江西楽旺ネットワークテクノロジー株式会社のクラウド コンピューティン...

ヴィルマックはどうですか?ダラスデータセンターのAMD Ryzen VPSの簡単なレビュー

ヴィルマックはどうですか? Virmach Dallas のコンピューター ルームはどうですか? V...

クラウド補助金に1億5000万元を投資、ファーウェイクラウドの独占月間がインターネットインテリジェンスのアップグレードを加速

CNNICが発表した第45回「中国インターネット発展統計報告」によると、2020年3月時点で、中国の...

SaaS がクラウド サービスを再定義、企業は今後どこに向かうべきか?

SaaS エンタープライズ ソフトウェアは現在、エンタープライズ ソフトウェア全体に占める割合は比較...

キーワードを最適に一致させる方法

多くのウェブマスターは、キーワードの組み合わせはほんの少しあれば十分だと考えています。実際、キーワー...

「SEO は死んだ」というあなたの意見を話してください

Xiaomao は今日、A5 Marketing の公式グループでチャットをしていたのですが、SEO...

gcorelabs: アメリカ製 GPU サーバー、8 RTX2080Ti、2*Silver-4214/256G メモリ/1T SSD/

gcorelabsは、米国アッシュバーンデータセンターでGPUサーバー(グラフィックカードサーバー)...

世界のモバイルインターネット市場の年次調査

 はじめに:世界のモバイル インターネット市場は成熟しつつあり、ユーザーの要求はより多様化、パーソナ...

Alibaba が次世代デュアルモード SSD ストレージ アーキテクチャと世界初のデュアルモード SSD 製品である AliFlash V3 を発表

オープンチャネルモードと標準NVMeモードの両方をサポートアリババ初の自社開発ストレージコントローラ...

SEOを学ぶにはどんな本が必要ですか?

SEO を勉強していたとき、ある問題を発見しました。実際の学習では、難しい問題に必ず遭遇します。しか...

ホスティングレビューコレクション: ルーマニアの格安 VPS 業者

たとえば、海外市場向けの音楽、​​映画、ソフトウェアなどの英語ダウンロードサイトを作成したい人や、外...