見逃せない新世代の分散タスクスケジューリングおよびコンピューティングフレームワーク

[[331036]]

PowerJob (旧称 OhMyScheduler) は、複雑なタスクのジョブ スケジューリングと分散コンピューティングを簡単に完了できる、新世代の分散スケジューリングおよびコンピューティング フレームワークです。

プロジェクトアドレス:

https://github.com/KFCFans/PowerJob?utm_source=tuicool&utm_medium=referral

導入

主な特徴

• 使いやすい: フロントエンドの Web インターフェイスが提供され、開発者は視覚的にタスクのスケジュール管理 (追加、削除、変更、クエリ)、タスクの実行ステータスの監視、実行ログの表示を行うことができます。
• タイミング戦略の改善: CRON 式、固定頻度、固定遅延、API の 4 つのタイミング スケジューリング戦略をサポートします。
• 豊富な実行モード: スタンドアロン、ブロードキャスト、マップ、MapReduce の 4 つの実行モードをサポートします。 Map/MapReduce プロセッサを使用すると、開発者はわずか数行のコードでクラスター分散コンピューティング機能を実現できます。
• DAGワークフローのサポート：タスクの依存関係のオンライン構成をサポートし、タスクを視覚的に配置します。また、上流タスクと下流タスク間のデータ転送もサポートします。
• Executor は、Spring Bean、組み込み/外部 Java クラス、Shell、Python、その他のプロセッサなど、幅広いアプリケーションをサポートします。
• 便利な操作とメンテナンス：オンラインログ機能をサポートします。 Executor によって生成されたログは、フロントエンドのコンソール ページにリアルタイムで表示できるため、デバッグ コストが削減され、開発効率が大幅に向上します。
• 依存関係の削減: 最小の依存関係はリレーショナル データベース (MySQL/Oracle/MS SQLServer など) であり、拡張依存関係は MongoDB (巨大なオンライン ログを保存するために使用される) です。
• 高可用性と高パフォーマンス: スケジューリング サーバーは、データベース ロックに基づく他のスケジューリング フレームワークとは異なり、ロックフリーのスケジューリングを実現するように慎重に設計されています。複数のスケジューリング サーバーを展開すると、高可用性とパフォーマンスの向上の両方を実現できます (無制限の水平拡張をサポート)。
• フェイルオーバーとリカバリ: タスクが失敗した後、構成された再試行戦略に従って再試行できます。実行クラスターに十分なコンピューティング ノードがある限り、タスクは正常に完了できます。

適用可能なシナリオ

• 完全なデータ同期や毎日の夜明けのビジネス レポート生成など、スケジュールされた実行要件を持つビジネス シナリオ。
• ブロードキャスト実行モードを使用してクラスター ログをクリーンアップするなど、すべてのマシンを同時に実行する必要があるビジネス シナリオがあります。
• 分散処理が必要なビジネス シナリオがあります。たとえば、大量のデータを更新する必要があり、単一のマシンで実行すると非常に長い時間がかかる場合、Map/MapReduce プロセッサを使用してタスクの分散を完了し、クラスター全体を動員して計算を高速化できます。

類似製品の比較

PS: このプロジェクトの英語文書翻訳に多大な貢献をしてくれた文書翻訳プラットフォーム breword に感謝します。

参照する

アリババスケジューラX 2.0  

• Akka フレームワーク: akka-remote はネットワーク通信コードのかなりの部分を簡素化すると言わざるを得ません。
• Executor アーキテクチャ設計: この記事にはあまり同意できません。私の個人的なデザインは、Yarn の「アーキテクチャ」とより一致していると感じています。
• MapReduce モデル: アイデアは非常にクールです。ビッグデータ処理フレームワークはすべてプロセッサをデータに移動しますが、従来の Java アプリケーションでは、データをプロセッサに移動することもでき、これによりフレームワークの実装がはるかに簡単になります。
• ブロードキャスト実行: ログのクリーンアップスクリプトなどを実行すると、非常に実用的になります 8~