Airflow 1.9.0正在排队但任务没有运行。

Question

Airflow突然停止运行任务。以下是所有正在运行的进程： airflow scheduler airflow webserver airflow worker WebUI错误信息如下：

所有依赖项均已满足，但任务实例未在运行。在大多数情况下，这意味着该任务很可能会很快被调度，除非: - 调度器关闭或负载过重。

如果此任务实例不久启动，请联系您的Airflow管理员寻求帮助。

调度器似乎处于循环状态，不断重复以下消息。WebUI显示任务处于排队状态。尝试重新启动调度程序，但没有帮助。

[2018-11-17 22:03:45,809] {{jobs.py:1607}} DEBUG - Starting Loop...
[2018-11-17 22:03:45,809] {{jobs.py:1627}} INFO - Heartbeating the process manager
[2018-11-17 22:03:45,810] {{jobs.py:1662}} INFO - Heartbeating the executor
[2018-11-17 22:03:45,810] {{base_executor.py:103}} DEBUG - 124 running task instances
[2018-11-17 22:03:45,810] {{base_executor.py:104}} DEBUG - 0 in queue
[2018-11-17 22:03:45,810] {{base_executor.py:105}} DEBUG - 76 open slots
[2018-11-17 22:03:45,810] {{base_executor.py:132}} DEBUG - Calling the <class 'airflow.executors.celery_executor.CeleryExecutor'> sync method
[2018-11-17 22:03:45,810] {{celery_executor.py:80}} DEBUG - Inquiring about 124 celery task(s)

Airflow设置：

apache-airflow[celery，redis,all]==1.9.0

我还查看了这些文章，但没有帮助到我：

Airflow 1.9.0正在排队但不启动任务

Airflow任务停滞在“排队”状态并且永远不会运行

- moon

---

你尝试过清除DAG运行吗？ - SergiyKolesnikov

我也尝试重新运行上一个成功的dag运行，但也没有帮助。 - moon

Answer 1

问题已解决。如果您在2018-11-15或之后创建构建，则会出现此问题。原来，apache-airflow [celery，redis，all] == 1.9.0使用了redis-py的最新版本3.0.1，但这与celery 4.2.1不兼容。 解决方案是使用redis-py 2.10.6 redis==2.10.6 apache-airflow[celery, all]==1.9.0

- moon