如何用 pycharm 调试 airflow

2024-04-06 10:39:01

airflow 和 pycharm 相关基础知识请看其他博客

我们在使用 airflow的 dag时。每次写完不知道对不对的，总不能到页面环境中跑一下，等到报错再调试吧。这是很让人恼火的事情

这里我想分享如何用 pycharm 对 airflow 进行调试

airflow的运行环境，依赖于 airflow.cfg和 airflow_home,

pycharm 的项目目录应该和 airflow_home 相同目录。

1. airflow的配置

详细配置看请看其他博客，这里只是表名我的 airflow_home = /data/airflow

[core]

dags_folder = /data/airflow/dags

# The folder where airflow should store its log files
# This path must be absolute
base_log_folder = /data/airflow/logs

plugins_folder = /data/airflow/plugins

sql_alchemy_conn = mysql://airflow:airflow@IP:3306/airflowtest

broker_url = sqla+mysql://airflow:airflow@IP:3306/airflowtest

2. 启动webserver 模式下airflow

airflow webserver -D

airflow scheduler -D

airflow workder -D

3. 在/data/airflow/dags 下新建范例 dag

vim hello_world.py

from datetime import datetime
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import PythonOperator


def print_hello():
     print ('hello my name is fanglianchao')
     return 'Hello world!'


dag = DAG('hello_world', description='Simple tutorial DAG',
          schedule_interval='0 12 * * *',
          start_date=datetime(2017, 3, 20), catchup=False)

dummy_operator = DummyOperator(task_id='dummy_task', retries=3, dag=dag)

hello_operator = PythonOperator(task_id='hello_task', python_callable=print_hello, dag=dag)

dummy_operator >> hello_operator
~

4.执行测试：

如果以下测试成功，就代表安装成功了，可以到 web 里面触发执行看看

airflow test hello_world hello_task 2019-10-10