我正在使用Spark的Java连接器，并希望将两个DataFrame进行合并，但是DataFrame类只有unionAll方法，这是有意为之吗？是否有一种方法可以在不重复的情况下合并两个DataFrame？
1个回答
19
这是故意的吗？
我认为可以安全地假设这是有意为之的。其他类似于 RDD.union 和 DataSet.union 的联合运算符也会保留重复项。
如果你仔细想一下，这是有道理的。虽然等同于 UNION ALL 的操作只是一个逻辑操作，不需要访问数据或网络流量，但查找不同的元素需要洗牌，因此可能非常昂贵。
有没有办法将两个DataFrames联合在一起而不产生重复项？
df1.unionAll(df2).distinct()
- zero323
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 105 在Spark DataFrame写入方法中覆盖特定分区
- 52 Spark DataFrame 方法 `toPandas` 实际上在做什么？
- 3 Java类中未找到Spark的DataFrame。
- 133 获取Spark DataFrame列中的最大值的最佳方法
- 6 Spark：DataFrame 中 zipWithIndex 的等效方法
- 12 Spark DataFrame中类似于Pandas DataFrame的`.iloc()`方法的等效方法是什么？
- 4 在Spark DataFrame中计算公式。
- 4 在Spark DataFrame类型中，有没有限制字符串长度的方法？
- 5 在Spark DataFrame中的collectAsList功能
- 17 使用Spark DataFrame中的"as"方法