RDD.union与SparkContext.union的区别

Question

5

什么是以下术语之间的区别：

reduce(lambda x,y: x.union(y), myRDDlist)

这段代码调用了RDD.union函数。

sc.union(myRDDlist)

谁调用了SparkContext.union方法？

它们编译成相同的代码吗？

- sds

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- DPM · Accepted Answer

SparkContext.union 和 RDD.union 在有两个RDDs的情况下是等效的。

对一系列RDDs进行缩减操作并调用RDD.union会导致多个嵌套的UnionRDDs（相互引用），而调用SparkContext.union仅会产生一个单独的UnionRDD。