我是使用pyspark 2.0的。 我有一个类似这样的df:
+----------+----------+--------
|pid | date| p_category
+----------+----------+--------
| 1ba |2016-09-30|flat
| 3ed |2016-09-30|ultra_thin
+----------+----------+----------
我做了一个
df.groupBy("p_category","date") \
.agg(countDistinct("pid").alias('cnt'))
我得到了这个:
+-------------+----------+------+
|p_category | date| cnt|
+-------------+----------+------+
| flat |2016-09-30|116251|
|ultra_thin |2016-09-30|113017|
+-------------+----------+------+
但我想要像这样的数据透视表:
+----------+----------+------+
|date | flat| ultra-thin
+----------+----------+------+
2016-09-30 | 116251|113017
------------------------------
df.groupBy("p_category","date") \
.agg(countDistinct("pid").alias('cnt')).pivot("p_category")
我遇到了这个错误:
“DataFrame”对象没有属性“pivot”
在这种情况下,我该如何进行数据透视表操作?或者有其他解决方案吗?
谢谢。