我正在使用Java编写Spark程序。我想对我的Map进行排序。实际上,我有一个JavaRDD,像这样:
我想使用Sortby对这个Java Rdd进行排序(按整数排序)。你能帮我做吗?
谢谢您的帮助。
JavaPairRDD<String, Integer> rebondCountURL = session_rebond_2.mapToPair(new PairFunction<Tuple2<String, String>, String, String>() {
@Override
public Tuple2<String, String> call(Tuple2<String, String> stringStringTuple2) throws Exception {
return new Tuple2<String, String>(stringStringTuple2._2, stringStringTuple2._1);
}
}).groupByKey().map(new PairFunction<Tuple2<String, Iterable<String>>, Tuple2<String, Integer>>() {
@Override
public Tuple2<String, Integer> call(Tuple2<String, Iterable<String>> stringIterableTuple2) throws Exception {
Iterable<String> strings = stringIterableTuple2._2;
List<String> b = new ArrayList<String>();
for (String s : strings) {
b.add(s);
}
return new Tuple2<String, Integer>(stringIterableTuple2._1, b.size());
}
});
我想使用Sortby对这个Java Rdd进行排序(按整数排序)。你能帮我做吗?
谢谢您的帮助。
stage1
是一个 Scala 中的 RDD 对象吗?因为我在 JavaRDD API 中没有找到 sortBy 方法。 - CᴴᴀZstage2 = stage1.sortBy((Something value) -> value.getTime() , true, 1);
- vefthym