我将使用pyspark来统计出现次数。假设我有以下数据:
data = sc.parallelize([(1,[u'a',u'b',u'd']),
(2,[u'a',u'c',u'd']),
(3,[u'a']) ])
count = sc.parallelize([(u'a',0),(u'b',0),(u'c',0),(u'd',0)])
能否统计在data
中出现的次数并更新到count
中?
结果应该像[(u'a',3),(u'b',1),(u'c',1),(u'd',2)]
这样。