Java 定时任务调度(9)--DolphinScheduler 使用

2022-12-11 14:48:59

DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度系统。本文主要介绍 DolphinScheduler 的基本使用，文中使用到的软件及版本：Java 1.8.0_181、DolphinScheduler 1.3.6、MySQL 5.7、Zookeeper 3.6.3、Centos 7.6。

1、DolphinScheduler 简介

1.1、DolphinScheduler 特性

A、高可靠性 去中心化的多 Master 和多 Worker, 自身支持 HA 功能, 采用任务队列来避免过载，不会造成机器卡死

B、简单易用 DAG 监控界面，所有流程定义都是可视化，通过拖拽任务完成定制 DAG，通过 API 方式与第三方系统集成, 一键部署

C、丰富的使用场景 支持暂停恢复操作. 支持多租户，更好的应对大数据的使用场景. 支持更多的任务类型，如:Spark, Hive, M/R, Python, Sub_process, Shell

D、高扩展性 支持自定义任务类型，调度器使用分布式调度，调度能力随集群线性增长，Master 和 Worker 支持动态上下线

1.2、DolphinScheduler 架构

1.3、DolphinScheduler 流程启动活动图

更多详细的介绍可参考官网：https://dolphinscheduler.apache.org/zh-cn/

2、DolphinScheduler 安装

2.1、单机安装

2.1.1、下载安装包并解压

https://dolphinscheduler.apache.org/zh-cn/download/download.html

tar zxvf apache-dolphinscheduler-1.3.6-bin.tar.gz

2.1.2、创建部署用户并赋予目录操作权限

useradd dolphinscheduler;
# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置sudo免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目录权限
chown -R dolphinscheduler:dolphinscheduler apache-dolphinscheduler-1.3.6-bin

2.1.3、ssh 免密配置

su dolphinscheduler

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

2.1.4、修改数据库信息

vi conf/datasource.properties

如果选择 MySQL，需要把 MySQL 的 JDBC 驱动放到 lib 目录下

spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://10.49.196.49:3306/dolphinscheduler?characterEncoding=UTF-8&allowMultiQueries=true
spring.datasource.username=admin
spring.datasource.password=Root_123!

码农公寓