本文基于尚硅谷Azkaban 资料整理而来   1. Azkaban是一个工作流调度工具 常见的工作流调度工具有Ooize、Azkaban、airflow、DolphinScheduler等。 Ooize 相比 Azkaban 是一个重量级的任务调度系统，功能全面，但配置使用 也更复杂。如果可以不在意某些功能的缺失，轻量级调度器 Azkaban 是很不错的候选对象。   2. 集群模式安装部署(3.84.4版本)

• 集群模式是一个Web多个Executor的方式，这里准备三台服务器hadoop102、hadoop103、hadoop104 以及一个MySQL数据库服务
• 上传安装包以及配置MySQL

将 azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web- server-3.84.4.tar.gz 上传到 hadoop102 的/opt/software 路径 [root@hadoop102 software]$ ll 总用量 35572 -rw-r--r--. 1 root root 6433 4月 18 17:24 azkaban-db- 3.84.4.tar.gz -rw-r--r--. 1 root root 16175002 4 月 18 17:26 azkaban-exec- server-3.84.4.tar.gz -rw-r--r--. 1 root root 20239974 4 月 18 17:26 azkaban-web- server-3.84.4.tar.gz   新建/opt/module/azkaban 目录，并将所有 tar 包解压到这个目录下 解压azkaban-db-3.84.4.tar.gz、 azkaban-exec-server-3.84.4.tar.gz和azkaban- web-server-3.84.4.tar.gz 到/opt/module/azkaban 目录下 [root@hadoop102 software]$ tar -zxvf azkaban-db-3.84.4.tar.gz - C /opt/module/azkaban/ [root@hadoop102 software]$ tar -zxvf azkaban-exec-server- 3.84.4.tar.gz -C /opt/module/azkaban/ [root@hadoop102 software]$ tar -zxvf azkaban-web-server- 3.84.4.tar.gz -C /opt/module/azkaban/   进入到/opt/module/azkaban 目录，依次修改名称 [root@hadoop102 azkaban]$ mv azkaban-exec-server-3.84.4/ azkaban-exec [root@hadoop102 azkaban]$ mv azkaban-web-server-3.84.4/ azkaban-web   配置MySQL 登陆 MySQL，创建 Azkaban 数据库，创建 azkaban 用户并赋予权限。这里对数据库密码策略做了简化设置，生产环境不建议这样做。 最后 刷Azkaban数据库初始化脚本。 mysql> create database azkaban; mysql> set global validate_password_length=4; mysql> set global validate_password_policy=0; mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '000000'; mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION; mysql> use azkaban; mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all- sql-3.84.4.sql mysql> quit; 更改MySQL数据库服务的包大小限制，改完后重启MySQL服务 [root@hadoop102 software]$ sudo vim /etc/my.cnf # 在[mysqld]下面加一行 max_allowed_packet=1024M [mysqld] max_allowed_packet=1024M

• 配置Executor Server

编辑 azkaban.properties [root@hadoop102 azkaban]$ vim /opt/module/azkaban/azkaban- exec/conf/azkaban.properties # 修改以下属性的值 default.timezone.id=Asia/Shanghai azkaban.webserver.url=http://hadoop102:8081 executor.port=12321 mysql.host=hadoop102 mysql.password=000000 同步 azkaban-exec 到所有节点，前提在103、104上创建目录/opt/module/azkaban/ scp -r /opt/module/azkaban/azkaban-exec root@hadoop103:/opt/module/azkaban/ scp -r /opt/module/azkaban/azkaban-exec root@hadoop104:/opt/module/azkaban/   必须进入到/opt/module/azkaban/azkaban-exec 路径，分别在三台机器上，启动 executor server，不进到这个目录启动很容易出现启动后配置以及页面有问题（好多配置使用的相对路径）。 [root@hadoop102 azkaban-exec]$ bin/start-exec.sh [root@hadoop103 azkaban-exec]$ bin/start-exec.sh [root@hadoop104 azkaban-exec]$ bin/start-exec.sh 如果在/opt/module/azkaban/azkaban-exec 目录下出现 executor.port 文件，说明 启动成功 激活executor [root@hadoop102 azkaban-exec]$ curl -G "hadoop102:12321/executor?action=activate" && echo [root@hadoop103 azkaban-exec]$ curl -G "hadoop103:12321/executor?action=activate" && echo [root@hadoop104 azkaban-exec]$ curl -G "hadoop104:12321/executor?action=activate" && echo # 如果全部返回，下面内容则代表激活成功 {"status":"success"}  

• 配置Web Server

Azkaban Web Server 处理项目管理，身份验证，计划和执行触发。（题外话：这个web单节点在生产遇到过挂掉，真个定时触发都没执行） 编辑 azkaban.properties default.timezone.id=Asia/Shanghai mysql.host=hadoop102 mysql.password=000000 azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus   StaticRemainingFlowSize:正在排队的任务数 CpuStatus:CPU 占用情况 MinimumFreeMemory:内存占用情况。MinimumFreeMemory过滤器会检查executor主机空余内存是否会大于6G，如果不足6G，则web-server不会将任务交由该主机执行 修改 azkaban-users.xml 文件，可以添加用户和修改用户密码，这里不做修改，使用默认的azkaban/azkaban   必须进入到 /opt/module/azkaban/azkaban-web 路径，启动 web server [root@hadoop102 azkaban-web]$ bin/start-web.sh   访问 http://hadoop102:8081,并用 azkaban 用户登陆 3. Work Flow 示例

1. 演示输出hello world 简单工作流

创建文件azkaban.project文件，指定使用的语法版本，azkaban 前面版本的工作流配置语法跟现在有所不同的。现在采用的yaml语法 azkaban-flow-version: 2.0 创建basic.flow文件，内容如下 nodes: - name: jobA type: command config: command: echo "Hello World" 将两个文件压缩为一个zip文件，文件名必须是英文的。 打开azkaban页面创建一个project，输入项目名称以及描述，这里也全部最好输入英文 创建完成后，选择上传文件 选择上传刚才的zip文件，如果文件没有语法或者其他问题，回来到下面页面，解析后的工作流。点击Execute Flow --> Execute 按钮执行工作流 执行完后可以在日志那边看到执行结果了 日志中看到输出

2. 作业依赖示例

需求:JobA 和 JobB 执行完了，才能执行 JobC 修改 basic.flow 为如下内容 nodes: - name: jobC type: command # jobC 依赖 JobA 和 JobB dependsOn: - jobA - jobB config: command: echo "I’m JobC" - name: jobA type: command config: command: echo "I’m JobA" - name: jobB type: command config: command: echo "I’m JobB" 同上一个示例，压缩成zip文件，并且azkaban上创建一个project，名字为second 上传文件并执行    

3. 自动失败重试

如果执行任务失败，需要重试 3 次，重试的时间间隔 10000ms 编辑flow文件 nodes: - name: JobA type: command config: command: sh /not_exists.sh retries: 3 retry.backoff: 10000   参数说明: retries:重试次数 retry.backoff:重试的时间间隔 也可以在 Flow 全局配置中添加任务失败重试配置，此时重试配置会应用到所有 Job config: retries: 3 retry.backoff: 10000 nodes: - name: JobA type: command config: command: sh /not_exists.sh  

4. 手动失败重试

需求:JobA ---> JobB ---> JobC ---> JobD ---> JobE ---> JobF。生产环境，任何 Job 都 有可能挂掉，可以根据需求执行想要执行的 Job。 flow 文件 nodes: - name: JobA type: command config: command: echo "This is JobA." - name: JobB type: command dependsOn: - JobA config: command: echo "This is JobB." - name: JobC type: command dependsOn: - JobB config: command: echo "This is JobC." - name: JobD type: command dependsOn: - JobC config: command: echo "This is JobD." - name: JobE type: command dependsOn: - JobD config: command: echo "This is JobE." - name: JobF type: command dependsOn: - JobE config: command: echo "This is JobF."   创建project并上传flow后 选择 需要执行的步骤 Enable 和 Disable 下面都分别有如下参数: Parents:该作业的上一个任务 Ancestors:该作业前的所有任务 Children:该作业后的一个任务 Descendents:该作业后的所有任务 Enable All:所有的任务  

5. JavaProcess作业类型

JavaProcess 类型可以运行一个自定义主类方法，type 类型为 javaprocess 可用的配置有以下： Xms:最小堆 Xmx:最大堆 classpath:类路径 java.class:要运行的 Java 对象，其中必须包含 Main 方法 main.args:main 方法的参数   新建一个 azkaban 的 maven 工程，创建包名:com.example 创建 AzTest 类 package com.example; public class AzTest { public static void main(String[] args) { System.out.println("This is for testing!"); } }   创建flow文件，内容如下 nodes: - name: test_java type: javaprocess config: Xms: 96M Xmx: 200M java.class: com.example.AzTest 创建project并上传zip文件，执行即可  

6. 条件工作流

条件工作流功能允许用户自定义执行条件来决定是否运行某些 Job。条件可以由当前 Job 的父 Job 输出的运行时参数构成，也可以使用预定义宏。在这些条件下，用户可以在确定 Job 执行逻辑时获得更大的灵活性，例如，只要父 Job 之一成功，就可以运行当前 Job。 原理： 父 Job 将参数写入 JOB_OUTPUT_PROP_FILE 环境变量所指向的文件 子 Job 使用 ${jobName:param}来获取父 Job 输出的参数并定义执行条件 支持的运算符： (1)== 等于(2)!= 不等于 (3)> 大于 (4)>= 大于等于 (5)< 小于 (6)<= 小于等于 (7)&& 与 (8)|| 或 (9)! 非 需求: JobA 执行一个 shell 脚本。 JobB 执行一个 shell 脚本，但 JobB 不需要每天都执行，而只需要每个周一执行。 JobA.sh #!/bin/bash echo "do JobA" wk=`date +%w` echo "{\"wk\":$wk}" > $JOB_OUTPUT_PROP_FILE JobB.sh #!/bin/bash echo "do JobB" condition.flow nodes: - name: JobA type: command config: command: sh JobA.sh - name: JobB type: command dependsOn: - JobA config: command: sh JobB.sh condition: ${JobA:wk} == 1  

7. 预定义宏

Azkaban 中预置了几个特殊的判断条件，称为预定义宏。 预定义宏会根据所有父 Job 的完成情况进行判断，再决定是否执行。可用的预定义宏如 下: (1)all_success: 表示父 Job 全部成功才执行(默认) (2)all_done:表示父 Job 全部完成才执行 (3)all_failed:表示父 Job 全部失败才执行 (4)one_success:表示父 Job 至少一个成功才执行 (5)one_failed:表示父 Job 至少一个失败才执行 需求: JobA 执行一个 shell 脚本 JobB 执行一个 shell 脚本 JobC 执行一个 shell 脚本，要求 JobA、JobB 中有一个成功即可执行 JobA.sh #!/bin/bash echo "do JobA" JobC.sh #!/bin/bash echo "do JobC" macro.flow nodes: - name: JobA type: command config: command: sh JobA.sh - name: JobB type: command config: command: sh JobB.sh - name: JobC type: command dependsOn: - JobA - JobB config: command: sh JobC.sh condition: one_success 注意:没有 JobB.sh。

8. 定时执行

使用crontab语法配置定时信息

9. 邮件报警设置

在web配置文件中添加一下内容 #这里设置邮件发送服务器，需要 申请邮箱，切开通 stmp 服务，以下只是例子 mail.sender=atguigu@126.com mail.host=smtp.126.com mail.user=atguigu@126.com mail.password=用邮箱的授权码 保存重启web服务 配置通知 4. Azkaban 多 Executor 模式注意事项 Azkaban 多 Executor 模式是指，在集群中多个节点部署 Executor。 在这种模式下， Azkaban web Server 会根据策略，选取其中一个 Executor 去执行任务。 为确保所选的 Executor 能够准确的执行任务，我们须在以下两种方案任选其一，推荐使 用方案二。   方案一: 指定特定的 Executor(hadoop102)去执行任务。   在 MySQL 中 azkaban 数据库 executors 表中，查询 hadoop102 上的 Executor 的 id 在执行工作流程时加入 useExecutor 属性   方案二: 在 Executor 所在所有节点部署任务所需脚本和应用。