我们有两个数据帧(请注意下面使用的是Scala语法来说明):
如何从每个数据框的一列中汇总数据,以便获得这个新的数据框:
val df1 = sc.parallelize(1 to 4).map(i => (i,i*10)).toDF("id","x")
val df2 = sc.parallelize(2 to 4).map(i => (i,i*100)).toDF("id","y")
如何从每个数据框的一列中汇总数据,以便获得这个新的数据框:
+---+---------+
| id| x_plus_y|
+---+---------+
| 1| 10|
| 2| 220|
| 3| 330|
| 4| 440|
+---+---------+
注意 尝试过这种方法,但它会使第一行无效。
sqlContext.sql("select df1.id, x+y as x_plus_y from df1 left join df2 on df1.id=df2.id").show
+---+--------+
| id|x_plus_y|
+---+--------+
| 1| null|
| 2| 220|
| 3| 330|
| 4| 440|
+---+--------+
x
或y
列有空值怎么办? - thangdc94