ADF管道和ADF数据流有什么区别?

18

ADF管道和ADF数据流之间的区别是什么?为什么管道和数据流中支持的接收器/源不同?是否可能创建一个管道,从源读取数据,过滤、连接并将数据存储到接收器中,而不需要使用数据流?请告诉我。


Microsoft从DataBricks公司获得了运行在Apache Spark上的许可,并将其打包成ADF Data Flow。与此同时,ADF的其他部分,如Copy Data活动等,都是由Microsoft开发的。因此,这是将两个不同的东西组合在一起。 - undefined
1个回答

26
管道用于进程编排。数据流是用于数据转换的。
在ADF中,数据流是基于Spark构建的,使用的数据存储在Azure(blob、adls、SQL、synapse、cosmosdb)中。
管道中的连接器用于复制数据和作业编排。有90多个连接器可用,跨越本地和其他云服务。
我们始终在不断增加更多的连接器到数据流中。

6
在Databricks中,相同的工作量似乎比ADF数据流成本更低。我在两个系统中应用简单的转换(清理数据),但ADF数据流的成本总是更高。 - sy-huss

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接