我有以下数据框:
|-----id-------|----value------|-----desc------|
| 1 | v1 | d1 |
| 1 | v2 | d2 |
| 2 | v21 | d21 |
| 2 | v22 | d22 |
|--------------|---------------|---------------|
我希望将其转化为:
|-----id-------|----value------|-----desc------|
| 1 | v1;v2 | d1;d2 |
| 2 | v21;v22 | d21;d22 |
|--------------|---------------|---------------|
- 数据框操作是否可以实现此功能?
- 在这种情况下,rdd转换会是什么样子?
我认为rdd.reduce是关键,但我不知道如何将其适应这种情况。
value
列是StringType
还是ArrayType
列? - Odomontois