什么是以下术语之间的区别:
reduce(lambda x,y: x.union(y), myRDDlist)
这段代码调用了RDD.union函数。
sc.union(myRDDlist)
谁调用了SparkContext.union方法?
它们编译成相同的代码吗?
什么是以下术语之间的区别:
reduce(lambda x,y: x.union(y), myRDDlist)
这段代码调用了RDD.union函数。
sc.union(myRDDlist)
谁调用了SparkContext.union方法?
它们编译成相同的代码吗?
SparkContext.union 和 RDD.union 在有两个RDDs的情况下是等效的。
对一系列RDDs进行缩减操作并调用RDD.union会导致多个嵌套的UnionRDDs(相互引用),而调用SparkContext.union仅会产生一个单独的UnionRDD。