airflow使用指南
1.airflow简介
Apache Airflow是一个开源工作流管理平台。它可以帮助您实现数据管道和ML管道的自动化，并在行业中广泛应用。您可以进行摄入、执行ETL、执行ML任务，并将日常工作自动化。
大家都知道，很多机器学习的算法，是需要不断的迭代更新参数的，不是一次性实现的，在面对许多这样的机器学习工程时，我们总不能每个工程都要定时去运行，调度，airflow这个平台，就是将我们所有的机器学习工程整合起来，成为不同的工程流水线，统一调度，配置
Airflow 是通过 DAG（Directed acyclic graph 有向无环图）来管理任务流程的任务调度工具，不需要知道业务数据的具体内容，设置任务的依赖关系即可实现任务调度。
1.1 DAG
有向无环图指的是一个无回路的有向图。如果有一个非有向无环图，且A点出发向B经C可回到A，形成一个环。将从C到A的边方向改为从A到C，则变成有向无环图。有向无环图的生成树个数等于入度非零的节点的入度积。
2. airflow架构
先用一张图看一个airlflow的工作流程图：
从图中看，我们可以写很多的机器学习代码，分别为worker1、worker…。这些就是airflow平台需要执行的任务进程。
- Executor：执行器，用来执行这些机器学习进程的组件
- Scheduler：调度器，用来定义这些机器学习进程，执行的先后顺序，比如机器学习先做数据预处理，再特征处理
- Web Server：就是一个前端服务器，最后执行完这样一个airflow进程，我们所有的机器学习工程都可以在airflow平台的WebUI上进行操作，监控进程，触发进程等。
- meta data：保存我们执行进程的一些信息
这里有个地方需要知道，进程就是我们一个机器学习任务中不同的步骤，多个进程结合起来成为一个完整的机器学习任务，在airflow架构中，需要对进程进行排序前后处理，对任务也要进行前后处理。
进程的排序是由Scheduler完成，而任务是由Dags完成。
3.airflow核心模块
3.1 模块
- DAGs：即有向无环图(Directed Acyclic Graph)，将所有需要运行的tasks按照依赖关系组织起来，描述的是所有tasks执行顺序。
- Operators：可以简单理解为一个class，描述了DAG中某个的task具体要做的事。其中，airflow内置了很多operators，如BashOperator执行一个bash 命令，PythonOperator 调用任意的Python 函数，EmailOperator用于发送邮件，HTTPOperator 用于发送HTTP请求， SqlOperator用于执行SQL命令等等，同时，用户可以自定义Operator，这给用户提供了极大的便利性。
- Tasks：Task 是Operator的一个实例，也就是DAGs中的一个node。 Task Instance：task的一次运行。Web界面中可以看到task instance 有自己的状态，包括"running", “success”,“failed”,“skipped”, "up for retry"等。
- Task Relationships：DAGs中的不同Tasks之间可以有依赖关系，如 Task1 >>Task2，表明Task2依赖于Task2了。 通过将DAGs和Operators结合起来，用户就可以创建各种复杂的工作流（workflow）
3.2 Operators模块
DAG 定义一个作业流，Operators 则定义了实际需要执行的作业。airflow 提供了许多 - Operators 来指定我们需要执行的作业：
- BashOperator - 执行 bash 命令或脚本。
- SSHOperator - 执行远程 bash 命令或脚本（原理同paramiko 模块）。
- PythonOperator - 执行 Python 函数。
- EmailOperator - 发送Email。
- HTTPOperator - 发送一个 HTTP 请求。
- MySqlOperator, SqliteOperator,PostgresOperator, MsSqlOperator, OracleOperator, JdbcOperator, 等，执行SQL 任务。
- DockerOperator, HiveOperator, S3FileTransferOperator,
PrestoToMysqlOperator, SlackOperator 你懂得。除了以上这些 Operators 还可以方便的自定义
Operators 满足个性化的任务需求。
我们最常用的就是BashOperator。像这样导入模块
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
4.airflow安装与使用