如何在Airflow中限制当前任务的执行速率？

Question

4

我是Airflow的新手。但我现在正在研究如何在Airflow中限制当前的任务。是否有人对Airflow中的并发或限流有一些了解？任何建议都会很有帮助。非常感谢。

- Angela.Xu

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Hugo · Accepted Answer

如果您想要在dag中控制任务的速率，需要定义其“并发性”参数。

“并发性”定义了DAG允许运行的任务实例数量，在此之上的任务将被排队等待执行。

如果您想要全局控制任务速率，请查看配置文件中的以下内容：

执行器的并行度设置。这定义了在此Airflow安装中应同时运行的最大任务实例数。 parallelism = 32

以及

调度程序允许同时运行的任务实例数

dag_concurrency = 16

第一个是全局的，第二个是所有DAG的默认并发值。