Airflow任务卡在“Scheduled”状态,无法在回溯期间运行。

3
尝试进行一些回填,所有dag运行都正常启动,但由于某种原因,它们无法通过特定任务,而是卡在“已安排”状态。不确定“已安排”是什么意思,也不知道为什么它们没有转移到“运行”状态。在每日运行中它能正常工作,但回填由于某种原因被卡住了。
这非常让人烦恼,因为这意味着我必须手动启动回填的所有任务,这个方法可行。
有没有想法为什么任务可能会被卡在“已安排”状态?

你正在使用哪个执行器? - trejas
我在想这是否实际上是我之前提出的另一个问题的重复:https://stackoverflow.com/questions/53884879/how-do-i-queue-up-backfills-in-airflow。我认为可能是同一个问题导致了两个问题,但不确定,所以暂时保留它们。 - Tomas Jansson
1个回答

2
任务被卡在“排队”状态通常意味着两件事情之一,没有可执行的队列或没有可执行的池。您使用的是哪个执行器?本地、顺序、celery?

Google Cloud Composer正在使用celery执行器。据我所知,以上情况都不应该发生。 - Tomas Jansson

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接