Airflow偶尔不会运行排队的任务，有些任务甚至不会被排队状态。我在调度程序日志中不断看到以下内容： [2018-02-28 02:24:58,780] {jobs.py:1077} INFO - No tasks to consider for execution. 我在数据库中看到一些任...

是否有任何最佳实践可供遵循以部署新的dag到airflow？ 我在谷歌论坛上看到了几条评论，指出dag保存在GIT存储库中，并定期同步到airflow集群的本地位置。关于这种方法，我有几个问题： 我们是否为不同的环境（测试，生产）维护单独的dag文件？ 如果新版本有错误，如何回滚ETL...

我正在使用Airflow v1.8.1，并在kubernetes和Docker上运行所有组件（worker、web、flower、scheduler）。 我使用带有Redis的Celery Executor，我的任务看起来像： (start) -> (do_work_for_produ...

目标很简单：我需要为手动任务创建一个DAG，该任务不应定期运行，但只有在管理员按下“运行”按钮时才能运行。最好不需要切换DAG的“暂停”和“取消暂停”（您知道肯定会有人忘记暂停）。 到目前为止，我只想到了schedule_interval="0 0 30 2 *"（希望从未出现过30日2月）...

借助于这篇Stackoverflow文章的帮助，我刚刚制作了一个程序(该程序在文章中显示)，当文件被放入S3存储桶中时，我的一个运行DAG的任务就会被触发，然后我使用BashOperator执行一些工作。一旦完成，DAG就不再处于运行状态，而是进入成功状态，如果我想要它接收另一个文件，我需要清...

求助Airflow老手， 我正在寻找一个cron替代品，偶然发现了Apache Airflow。 我们的环境需要让多个用户能够创建自己的 DAG 并调度他们的任务。 我们的用户群体中有些人可能不知道如何编写 DAG Python 文件。而且他们可能没有访问运行 airflow 的服务器的...

当我尝试在Airflow 1.8.0中运行DAG时，我发现完成前置任务和选择后继任务执行之间需要很长时间（通常大于单个任务的执行时间）。对于Sequential、Local和Celery Executors来说情况也是如此。是否有办法减少以上提到的开销时间？（比如airflow.cfg中的任何...

我对作业调度程序还不熟悉，想找一个在大数据集群上运行作业的调度程序。但是现有的选择让我感到困惑。相比于TWS、Autosys等已有的调度程序，发现Oozie存在很多限制。 请提供一些Oozie和Airflow之间的比较点。 非常感谢您的帮助。

我有一个Python DAG Parent Job 和 DAG Child Job。在Parent Job每天运行成功后，应该触发Child Job中的任务。如何添加外部作业触发器？ 我的代码from datetime import datetime, timedelta from airf...

Airflow任务一开始运行很顺利，但在执行到一半时突然停止，任务实例详情显示以上信息。 我已经清空了整个数据库，但仍然收到相同的错误提示。 事实上，我只在某些DAG中遇到这个问题，主要是在长时间运行的作业中。 我收到以下错误提示：[2019-07-03 12:14:56,337] {{...