我有一个RDD结构。
RDD[(String, String)]
我想创建2个列表(一个用于rdd的每个维度)。我尝试使用rdd.foreach()并填充两个ListBuffer,然后将它们转换为Lists,但我猜每个节点都会创建自己的ListBuffer,因为在迭代之后,BufferLists是空的。我该怎么做?
编辑:我的方法
val labeled = data_labeled.map { line =>
val parts = line.split(',')
(parts(5), parts(7))
}.cache()
var testList : ListBuffer[String] = new ListBuffer()
labeled.foreach(line =>
testList += line._1
)
val labeledList = testList.toList
println("rdd: " + labeled.count)
println("bufferList: " + testList.size)
println("list: " + labeledList.size)
结果是:
rdd: 31990654
bufferList: 0
list: 0