基于这个项目 :git clone https://github.com/puckel/docker-airflow
上图的文件解压后如图:
### 更改配置文件vim airflow.cfg
### 文件移动
docker-airflow底下所有文件放进 /usr/local/airflow
docker的安装这里不再列出参考:https://www.runoob.com/docker/centos-docker-install.html
启动:docker-compose -f docker-compose-CeleryExecutor_not_work_big.yml up
创建python环境和导出包:
### python环境创建
* 选着web容器 docker ps | grep airflow_webserver
* 进入 docker exec -it -u root [容器id] /entrypoint.sh bash
* 导出安装包 pip freeze >> requirements.txt
* 查看Python版本 python -V
* 复制容器文件 docker container cp <容器id>:<容器文件路径> <主机文件路径>
创建conda Python dev环境
conda create -n airflow python=3.7.9
conda activate airflow
进入dev环境
安装包
安装python包:
pip install -r requirements.txt
yum install mysql-devel gcc gcc-devel python-devel
pip install psycopg2-binary
pip install mysqlclient==1.3.14
修改环境变量:
vi /etc/profile
export AIRFLOW_HOME=/usr/local/airflow/workerconfig
export C_FORCE_ROOT="true"
source /etc/profile
查看当前环境变量: env
启动worker:
查看worker占用的端口: lsof -i tcp:8793
启动命令 测试一下
airflow worker
执行成功