Airflow DAG正在运行,但任务未被执行。

8
我正在使用Airflow 1.10.2,从流行的puckel airflow docker image分支,并使用CLI操作它,阅读documentation。我创建了一个DAG,当我通过UI触发它时,它成功执行。但是当我使用命令行触发DAG时,DAG状态变为RUNNING,但任务从未执行。
以下是图像的参考,DAG的ID为xcom_4_modules_ver_5 在通过计划进程运行DAG并通过UI手动触发后,我在CLI上执行airflow list_dag_runs xcom_4_modules_ver_5以检查DAG运行的状态。DAG成功执行,并将预期输出写入日志文件。这对应于ID 1和2。

enter image description here

然而,在执行命令airflow trigger_dag -sd /usr/local/airflow/airflow/dags/ -r CLI-RUN-TEST xcom_4_modules_ver_5以从UI触发DAG后,状态一直是RUNNING。对应于下面图片中的ID 3。

enter image description here

我去UI中的树状视图,发现很长时间没有执行任何组件。

enter image description here

第一列和第二列对应于运行ID 1和2,而第三列对应于运行ID 3。 airflow schedulerairflow webserver已启动。
请求Airflow专家在此提供建议。
1个回答

0

这可能不是人们寻求的答案,也不是最适用的答案,但我还是会发布它。Airflow 2版本已经为我们解决了许多DAG运行时故障和调度器卡顿问题。在之前的1.10版本中,这些错误经常发生,但与之相比,Airflow 2的错误更少且更小。虽然仍不能说它是完美的软件。

如果您决定升级,Apache有很好的指南可供参考:https://airflow.apache.org/docs/apache-airflow/stable/upgrading-from-1-10/index.html

即使没有功能更新,在我的经验中,稳定性的提高已经值得一年左右的时间。


网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接