9得票1回答
是否有一种树状图的名称,其中节点可以有多个父节点,但仍然只能来自上面的1个级别?

有一种树形图的名称,它允许节点拥有多个父节点,但仅限于同一层级。 因此,该图是有向无环图,但还有其他限制。 这也意味着,从任何特定节点返回到根节点的所有路径长度相同。

25得票3回答
如何使用Python在Airflow中实现DAG成功后触发另一个DAG?

我有一个Python DAG Parent Job 和 DAG Child Job。在Parent Job每天运行成功后,应该触发Child Job中的任务。如何添加外部作业触发器? 我的代码from datetime import datetime, timedelta from airf...

12得票1回答
根据文件名数组,尝试从父DAG创建动态子DAGs。

我正在尝试使用Airflow将"S3"桶中的文件(即我无法删除的文件)移动到GCS。我不能保证每天都会有新文件,但我必须每天检查是否有新文件。 我的问题在于子DAG的动态创建。如果存在文件,我需要子DAG。如果没有文件,则不需要子DAG。我的问题在于上游/下游设置。在我的代码中,它确实检测到...

22得票2回答
一个简单的依赖算法存在问题

在我的web应用中,我们有许多字段汇总其他字段,并且这些字段又汇总更多的字段。我知道这是一个有向无环图。 当页面加载时,我会计算所有字段的值。我真正想做的是将我的DAG转换为一个一维列表,其中包含了计算这些字段的有效顺序。 例如:A = B + D, D = B + C, B = C + ...

7得票2回答
如何从Pandas DataFrame绘制家谱树?

我有一张表格,用来存储关于我的祖先的信息。作为示范,我创建了一张类似的表格,受教父电影启发。 |--------+---+-------------+-----------+------+------+--------+--------+----------------+--------...

9得票1回答
需要对DAG(有向无环图)进行一些澄清。

我知道DAG的定义,它是一个没有任何循环的有向图。我的问题是: 我可以将2个单独的DAG视为一个DAG吗?如果不行,那么一组DAG的技术名称是什么? 我知道DAG的定义,它是一个没有任何循环的有向图。我的问题是:我能不能把两个分开的DAG视为一个DAG呢?如果不能,那一组DAG的技术名词是什...

9得票5回答
如何使用TriggerDagRunOperator来触发多个Airflow DAG?

我有一个场景,在其中特定的dag完成后需要触发多个dag。我已经使用TriggerDagRunOperator来触发单个dag,是否可以将多个dag传递给TriggerDagRunOperator以触发多个dag? 并且是否可以仅在当前dag成功完成后才触发?

7得票5回答
具有唯一拓扑排序的图形的先决条件

假设我们讨论的图是一个DAG(有向无环图)。 问题:我能否得出这样的结论,即当且仅当只有一个顶点没有入边时,此类图将具有唯一的拓扑排序? 换句话说,只有一个顶点没有入边是否必要(但不充分)以生成唯一的拓扑排序?

7得票1回答
当超过"dagrun_timeout"时,Airflow会触发"on_failure_callback"。

目前正在设置Airflow中长时间运行任务的警报。为了取消/失败airflow dag,我在default_args中放置了"dagrun_timeout",它可以在运行时间过长(通常卡住)时执行我需要的操作,使dag失败/出错。唯一的问题是,当dagrun_timeout超时时,"on_fa...

114得票13回答
有人能用简单的语言向我解释一下什么是有向无环图吗?

有人能简单地向我解释一下什么是有向无环图吗?我在维基百科上查过,但它并没有让我看到它在编程中的用途。