该文章是基于 Hadoop2.7.6_01_部署 、 Hive-1.2.1_01_安装部署 进行的
1. 前言
在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：
2. 工作流调度器azkaban概述
2.1. 为什么需要工作流调度系统
- 一个完整的数据分析系统通常都是由大量任务单元组成：
shell脚本程序，java程序，mapreduce程序、hive脚本等
- 各任务单元之间存在时间先后及前后依赖关系
- 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；
例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：
1、 通过Hadoop先将原始数据同步到HDFS上；
2、 借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中；
3、 需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表；
4、 将明细数据进行复杂的统计分析，得到结果报表信息；
5、 需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。
2.2. 工作流调度实现方式
简单的任务调度：直接使用linux的crontab来定义；
复杂的任务调度：开发调度平台
或使用现成的开源调度系统，比如ooize、azkaban等
2.3. 常见工作流调度系统
市面上目前有许多工作流调度器
在hadoop领域，常见的工作流调度器有Oozie, Azkaban,Cascading,Hamake等
2.4. Azkaban与Oozie对比
对市面上最流行的两种调度器，给出以下详细对比，以供技术选型参考。总体来说，ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象。
详情如下：
- 功能
两者均可以调度mapreduce,pig,java,脚本工作流任务
两者均可以定时执行工作流任务
- 工作流定义
Azkaban使用Properties文件定义工作流
Oozie使用XML文件定义工作流
- 工作流传参
Azkaban支持直接传参，例如${input}
Oozie支持参数和EL表达式，例如${fs:dirSize(myInputDir)}
- 定时执行
Azkaban的定时执行任务是基于时间的
Oozie的定时执行任务基于时间和输入数据
- 资源管理
Azkaban有较严格的权限控制，如用户对工作流进行读/写/执行等操作
Oozie暂无严格的权限控制
- 工作流执行
Azkaban有两种运行模式，分别是solo server mode(executor server和web server部署在同一台节点)和multi server mode(executor server和web server可以部署在不同节点)
Oozie作为工作流服务器运行，支持多用户和多工作流
- 工作流管理
Azkaban支持浏览器以及ajax方式操作工作流
Oozie支持命令行、HTTP REST、Java API、浏览器操作工作流
3. Azkaban介绍
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
它有如下功能特点：
Web用户界面
方便上传工作流
方便设置任务之间的关系
调度工作流
认证/授权(权限的工作)
能够杀死并重新启动工作流
模块化和可插拔的插件机制
项目工作区
工作流和任务的日志记录和审计
3.1. Azkaban使用MySQL存储state的信息
AzkabanWebServer和AzkabanExecutorServer 都是能够访问MySQL的
web server使用DB的原因如下：
Project Management 项目，项目的权限以及上传的文件
Executing Flow State 跟踪执行流，执行程序运行它们
Previous Flow/Jobs 搜索之前的作业和流程执行，以及访问他们的日志文件
Scheduler 保持预定的工作状态
SLA 保持所有sla规则
executor server使用DB的原因如下：
Access the project 从数据库中检索项目文件
Executing Flows/Jobs 检索和更新 流和正在执行的数据
Logs 将输出日志存储到作业中并流入到db中
Interflow dependency 如果流在不同的执行器上运行，则它将从DB中获取状态
4. Azkaban安装部署
将安装文件上传到集群,最好上传到安装 hive、sqoop的机器上,方便命令的执行
准备工作
Azkaban Web服务器
azkaban-web-server-2.5.0.tar.gz
Azkaban执行服务器
azkaban-executor-server-2.5.0.tar.gz
MySQL
azkaban-2.5.0只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,下文中会建立 azkaban用户,密码 azkaban.
# 相关信息
[yun@mini01 azkaban]$ pwd
/app/software/azkaban
[yun@mini01 azkaban]$ ll
total
-rw-r--r-- yun yun May : azkaban-executor-server-2.5..tar.gz
-rw-r--r-- yun yun May : azkaban-sql-script-2.5..tar.gz
-rw-r--r-- yun yun May : azkaban-web-server-2.5..tar.gz
# 解压缩包
[yun@mini01 azkaban]$ tar xf azkaban-executor-server-2.5..tar.gz
[yun@mini01 azkaban]$ tar xf azkaban-web-server-2.5..tar.gz
[yun@mini01 azkaban]$ tar xf azkaban-sql-script-2.5..tar.gz
[yun@mini01 azkaban]$ ll
total
drwxrwxr-x yun yun Jul : azkaban-2.5.
drwxrwxr-x yun yun Jul : azkaban-executor-2.5.
-rw-r--r-- yun yun May : azkaban-executor-server-2.5..tar.gz
-rw-r--r-- yun yun May : azkaban-sql-script-2.5..tar.gz
drwxrwxr-x yun yun Jul : azkaban-web-2.5.
-rw-r--r-- yun yun May : azkaban-web-server-2.5..tar.gz
4.1. MySQL部署
建库并授权
# 在mini03上操作
# 建库
MariaDB [(none)]> CREATE DATABASE azkaban DEFAULT CHARACTER SET utf8 ;
Query OK, row affected (0.00 sec) MariaDB [(none)]> show create database azkaban;
+----------+------------------------------------------------------------------+
| Database | Create Database |
+----------+------------------------------------------------------------------+
| azkaban | CREATE DATABASE `azkaban` /*!40100 DEFAULT CHARACTER SET utf8 */ |
+----------+------------------------------------------------------------------+
row in set (0.00 sec) MariaDB [(none)]> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| azkaban |
| hive |
| mysql |
| performance_schema |
| test |
| zhang |
+--------------------+
rows in set (0.00 sec) # 授权
MariaDB [(none)]> grant all on azkaban.* to azkaban@'%' identified by 'azkaban';
Query OK, rows affected (0.00 sec) MariaDB [(none)]>
MariaDB [(none)]> flush privileges;
Query OK, rows affected (0.00 sec) MariaDB [(none)]> select user,host from mysql.user;
+---------+-----------+
| user | host |
+---------+-----------+
| azkaban | % |
| hive | % |
| root | % |
| root | 127.0.0.1 |
| root | :: |
| | localhost |
| root | localhost |
| | mini03 |
| hive | mini03 |
| root | mini03 |
+---------+-----------+
rows in set (0.00 sec)
导入数据
# 在有azkaban的SQL语句机器上操作
[yun@mini01 azkaban-2.5.]$ pwd
/app/software/azkaban/azkaban-2.5.
[yun@mini01 azkaban-2.5.]$ ll
total
-rwxr-xr-x yun yun Apr create.active_executing_flows.sql
-rwxr-xr-x yun yun Apr create.active_sla.sql
-rwxr-xr-x yun yun Apr create-all-sql-2.5..sql # 包含所有库信息
-rwxr-xr-x yun yun Apr create.execution_flows.sql
-rwxr-xr-x yun yun Apr create.execution_jobs.sql
-rwxr-xr-x yun yun Apr create.execution_logs.sql
-rwxr-xr-x yun yun Apr create.project_events.sql
-rwxr-xr-x yun yun Apr create.project_files.sql
-rwxr-xr-x yun yun Apr create.project_flows.sql
-rwxr-xr-x yun yun Apr create.project_permissions.sql
-rwxr-xr-x yun yun Apr create.project_properties.sql
-rwxr-xr-x yun yun Apr create.projects.sql
-rwxr-xr-x yun yun Apr create.project_versions.sql
-rwxr-xr-x yun yun Apr create.properties.sql
-rwxr-xr-x yun yun Apr create.schedules.sql
-rwxr-xr-x yun yun Apr create.triggers.sql
-rwxr-xr-x yun yun Apr database.properties
-rwxr-xr-x yun yun Apr update-all-sql-2.1.sql
-rwxr-xr-x yun yun Apr update-all-sql-2.2.sql
-rwxr-xr-x yun yun Apr update.execution_logs.2.1.sql
-rwxr-xr-x yun yun Apr update.project_properties.2.1.sql
[yun@mini01 azkaban-2.5.]$ ll /app/software/azkaban/azkaban-2.5./create-all-sql-2.5..sql # 要导入的SQL文件
-rwxr-xr-x yun yun Apr /app/software/azkaban/azkaban-2.5./create-all-sql-2.5..sql
[yun@mini01 azkaban-2.5.]$
[yun@mini01 azkaban-2.5.]$ mysql -hmini03 -uazkaban -pazkaban
Welcome to the MariaDB monitor. Commands end with ; or \g.
Your MariaDB connection id is
Server version: 5.5.-MariaDB MariaDB Server Copyright (c) , , Oracle, MariaDB Corporation Ab and others. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. MariaDB [(none)]> use azkaban; # 使用库
Database changed
MariaDB [azkaban]> source /app/software/azkaban/azkaban-2.5./create-all-sql-2.5..sql
………………
MariaDB [azkaban]> show tables;
+------------------------+
| Tables_in_azkaban |
+------------------------+
| active_executing_flows |
| active_sla |
| execution_flows |
| execution_jobs |
| execution_logs |
| project_events |
| project_files |
| project_flows |
| project_permissions |
| project_properties |
| project_versions |
| projects |
| properties |
| schedules |
| triggers |
+------------------------+
rows in set (0.00 sec)
4.2. azkaban执行服器和web服务器部署
[yun@mini01 azkaban]$ pwd
/app/software/azkaban
[yun@mini01 azkaban]$ ll
total
drwxrwxr-x yun yun Jul : azkaban-2.5.
drwxrwxr-x yun yun Jul : azkaban-executor-2.5.
-rw-r--r-- yun yun May : azkaban-executor-server-2.5..tar.gz
-rw-r--r-- yun yun May : azkaban-sql-script-2.5..tar.gz
drwxrwxr-x yun yun Jul : azkaban-web-2.5.
-rw-r--r-- yun yun May : azkaban-web-server-2.5..tar.gz
# 先创建/app/azkaban/ 目录
[yun@mini01 azkaban]$ cp -a azkaban-executor-2.5. /app/azkaban/executor-2.5.
[yun@mini01 azkaban]$ cp -a azkaban-web-2.5. /app/azkaban/web-server-2.5.
[yun@mini01 azkaban]$ cd /app/azkaban/
[yun@mini01 azkaban]$ ll
total
drwxrwxr-x yun yun Jul : executor-2.5.
drwxrwxr-x yun yun Jul : web-server-2.5.
4.3. 为azkaban创建SSL配置
[yun@mini01 azkaban]$ pwd
/app/azkaban
[yun@mini01 azkaban]$ ll
total
drwxrwxr-x yun yun Jul : executor-2.5.
drwxrwxr-x yun yun Jul : web-server-2.5.
[yun@mini01 azkaban]$ keytool -keystore keystore -alias jetty -genkey -keyalg RSA
Enter keystore password: # 输入123456
Re-enter new password: # 输入123456
What is your first and last name?
[Unknown]:
What is the name of your organizational unit?
[Unknown]:
What is the name of your organization?
[Unknown]:
What is the name of your City or Locality?
[Unknown]:
What is the name of your State or Province?
[Unknown]:
What is the two-letter country code for this unit?
[Unknown]: CN
Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN correct?
[no]: yes Enter key password for <jetty>
(RETURN if same as keystore password):
# 查看生成的keystore
[yun@mini01 azkaban]$ ll
total
drwxrwxr-x yun yun Jul : executor-2.5.
-rw-rw-r-- yun yun Jul : keystore
drwxrwxr-x yun yun Jul : web-server-2.5.
[yun@mini01 azkaban]$ cp -a keystore web-server-2.5./ # 将keystore拷贝到azkaban的web中
[yun@mini01 azkaban]$ ll web-server-2.5./
total
-rw-r--r-- yun yun Apr azkaban.version
drwxr-xr-x yun yun Apr bin
drwxr-xr-x yun yun Jul : conf
drwxr-xr-x yun yun Apr extlib
-rw-rw-r-- yun yun Jul : keystore
drwxr-xr-x yun yun Jul : lib
drwxr-xr-x yun yun Apr plugins
drwxr-xr-x yun yun Jul : web
4.4. 配置文件
注：先配置好服务器节点上的时区
1、先生成时区配置文件Asia/Shanghai，用交互式命令 tzselect 即可
2、拷贝该时区文件，覆盖系统本地时区配置
# 也可以是软连接
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
4.4.1. web服务器配置
[yun@mini01 conf]$ pwd
/app/azkaban/web-server-2.5./conf
[yun@mini01 conf]$ ll
total
-rw-r--r-- yun yun Jul : azkaban.properties
-rw-r--r-- yun yun Apr azkaban-users.xml
#### azkaban.properties 配置
[yun@mini01 conf]$ vim azkaban.properties
#Azkaban Personalization Settings
azkaban.name=Test #服务器UI名称,用于服务器上方显示的名字
azkaban.label=My Local Azkaban #描述
azkaban.color=#FF3601 #UI颜色
azkaban.default.servlet.path=/index
web.resource.dir=web/ #默认根web目录
default.timezone.id=Asia/Shanghai #时区 #Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager #用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml #用户配置,具体配置参加下文 #Loader for projects
executor.global.properties=conf/global.properties # global配置文件所在位置
azkaban.project.dir=projects database.type=mysql
mysql.port=
mysql.host=mini03
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections= #最大连接数 # Velocity dev mode
velocity.dev.mode=false # Azkaban Jetty server properties.
jetty.maxThreads= #最大线程数
jetty.ssl.port= #Jetty SSL端口
jetty.port= #Jetty端口
jetty.keystore=keystore #SSL文件名
jetty.password= #SSL文件密码
jetty.keypassword= #Jetty主密码 与 keystore文件相同
jetty.truststore=keystore #SSL文件名
jetty.trustpassword= # SSL文件密码 # Azkaban Executor settings
executor.port= #执行服务器端口 # mail settings
mail.sender= #发送邮箱
mail.host= #发送邮箱smtp地址
job.failure.email= #任务失败时发送邮件的地址
job.success.email= #任务成功时发送邮件的地址 lockdown.create.projects=false cache.directory=cache #缓存目录 ###### azkaban-users.xml 配置
[yun@mini01 conf]$ vim azkaban-users.xml
<azkaban-users>
<user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
<user username="metrics" password="metrics" roles="metrics"/>
<user username="admin" password="admin" roles="admin,metrics" /> <role name="admin" permissions="ADMIN" />
<role name="metrics" permissions="METRICS"/>
</azkaban-users>
4.4.2. executor执行服务器配置
[yun@mini01 conf]$ pwd
/app/azkaban/executor-2.5./conf
[yun@mini01 conf]$ vim azkaban.properties
#Azkaban
default.timezone.id=Asia/Shanghai # Azkaban JobTypes Plugins
azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置 #Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects database.type=mysql
mysql.port=
mysql.host=mini03
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections= #最大连接数 # Azkaban Executor settings
executor.maxThreads= #最大线程数
executor.port= #端口号(如修改,请与web服务中一致)
executor.flow.threads= #线程数
4.5. 启动azkaban
先执行executor，再执行web，避免Web Server会因为找不到执行器启动失败。
执行服务器
[yun@mini01 executor-2.5.]$ pwd
/app/azkaban/executor-2.5.
[yun@mini01 executor-2.5.]$ ./bin/azkaban-executor-start.sh
# 或者 nohup ./bin/azkaban-executor-start.sh > azkaban-exec_$(date +%Y%m%d%H%M%S).log &
# 方便查看日志
………………
web服务器
[yun@mini01 web-server-2.5.]$ pwd
/app/azkaban/web-server-2.5.
[yun@mini01 web-server-2.5.]$ ./bin/azkaban-web-start.sh # 日志会自己记录
………………
查看java进程
[yun@mini01 executor-2.5.]$ jps
AzkabanWebServer
AzkabanExecutorServer
Jps
4.6. 浏览器访问
https://mini01:8443/
使用admin登录之后
5. Azkaban实战
Azkaba内置的任务类型支持command、java
5.1. Command类型单一job示例
创建job描述文件
在Windows创建文件 command.job，内容如下
command.job
#command.job
type=command
# command=sh hello.sh
command=echo 'hello'
hello.sh
#!/bin/bash
echo 'hello World!' > /tmp/azkaban.info
将job资源文件打包成zip文件
zip command.job
创建project、上传包并执行
1、通过azkaban的web管理平台创建project并上传job压缩包
首先创建project
2、上传zip包
3、启动执行该job
5.2. Command类型多job工作流flow
1、创建有依赖关系的多个job描述
第一个job：foo.job
# foo.job
type=command
command=echo foo
第二个job：bar.job依赖foo.job
# bar.job
type=command
dependencies=foo
command=echo bar
2、将所有job资源文件打到一个zip包中
3、在azkaban的web管理界面创建工程并上传zip包
4、启动工作流flow
5.3. HDFS操作任务
1、创建job描述文件
fs_01.job
# fs.job
type=command
command=/app/hadoop/bin/hadoop fs -mkdir -p /azkaban/test03_new
fs_02.job
# fs.job
type=command
dependencies=fs_01
command=/app/hadoop/bin/hadoop fs -put /app/software/apache-flume-1.8.-bin.tar.gz /azkaban/test03_new
2、将job资源文件打包成zip文件
3、通过azkaban的web管理平台创建project并上传job压缩包
4、启动执行该job
5.4. MAPREDUCE任务
Mr任务依然可以使用command的job类型来执行
1、创建job描述文件，及mr程序jar包（示例中直接使用hadoop自带的example jar）
mrwc_01.job
# mrwc.job
type=command
command=/app/hadoop/bin/hadoop fs -mkdir -p /azkaban/wordcount/input
mrwc_02.job
# mrwc.job
type=command
dependencies=mrwc_01
command=/app/hadoop/bin/hadoop fs -put test.info zhang.info /azkaban/wordcount/input
mrwc_03.job
# mrwc.job
type=command
dependencies=mrwc_02
command=/app/hadoop/bin/hadoop jar hadoop-mapreduce-examples-2.7..jar wordcount /azkaban/wordcount/input /azkaban/wordcount/output
test.info
zhang.info
zxcvbnm
asdfghjkl
qwertyuiop
qwertyuiop qwertyuiop
2、将job资源文件打包成zip文件
3、通过azkaban的web管理平台创建project并上传job压缩包
4、启动执行该job
部分截图如下
[yun@mini02 ~]$ hadoop fs -cat /azkaban/wordcount/output/part-r- asdfghjkl
qwertyuiop
zxcvbnm
5.5. HIVE脚本任务
1、创建job描述文件
hivef_01.job
# hivef.job
type=command
command=/app/hadoop/bin/hadoop fs -mkdir -p /aztest/hiveinput
hivef_01.job
# hivef.job
type=command
dependencies=hivef_01
command=/app/hadoop/bin/hadoop fs -put azkb.dat /aztest/hiveinput
hivef_03.job
# hivef.job
type=command
dependencies=hivef_02
command=/app/hive/bin/hive -f 'aztest.sql'
aztest.sql
CREATE DATABASE IF NOT EXISTS azkaban;
use azkaban;
DROP TABLE IF EXISTS aztest;
DROP TABLE IF EXISTS azres;
create table aztest(id int,name string) row format delimited fields terminated by ',';
load data inpath '/aztest/hiveinput/azkb.dat' into table aztest;
create table azres row format delimited fields terminated by '#' as select * from aztest;
insert overwrite directory '/aztest/hiveoutput' select count() from aztest;
azkb.dat
,刘晨晨
,王敏
,张立玉
,刘刚
2、将job资源文件打包成zip文件
3、通过azkaban的web管理平台创建project并上传job压缩包
4、启动执行该job