Docker安装airflow(超详细)单机,集群部署教程

Docker安装airflow(超详细)单机,集群部署教程

基于这个项目 :git clone https://github.com/puckel/docker-airflow

上图的文件解压后如图:

Docker安装airflow(超详细)单机,集群部署教程

### 更改配置文件vim airflow.cfg

Docker安装airflow(超详细)单机,集群部署教程

### 文件移动

docker-airflow底下所有文件放进 /usr/local/airflow

Docker安装airflow(超详细)单机,集群部署教程

docker的安装这里不再列出参考:https://www.runoob.com/docker/centos-docker-install.html

启动:docker-compose -f docker-compose-CeleryExecutor_not_work_big.yml up

Docker安装airflow(超详细)单机,集群部署教程

创建python环境和导出包:

### python环境创建
* 选着web容器 docker ps | grep airflow_webserver
* 进入 docker exec -it -u root [容器id] /entrypoint.sh bash
* 导出安装包 pip freeze >> requirements.txt
* 查看Python版本 python -V
* 复制容器文件 docker container cp <容器id>:<容器文件路径>  <主机文件路径>


创建conda Python dev环境 
conda create -n airflow python=3.7.9
conda activate airflow
进入dev环境
安装包

安装python包:

pip install -r requirements.txt
yum install mysql-devel gcc gcc-devel python-devel
pip install psycopg2-binary
pip install mysqlclient==1.3.14

修改环境变量:

vi /etc/profile
export AIRFLOW_HOME=/usr/local/airflow/workerconfig
export C_FORCE_ROOT="true"
source /etc/profile
查看当前环境变量: env

启动worker:

查看worker占用的端口: lsof -i tcp:8793


启动命令 测试一下
airflow worker

执行成功

Docker安装airflow(超详细)单机,集群部署教程

上一篇:【刷题笔记】LeetCode 222. Count Complete Tree Nodes


下一篇:airflow调度框架