我有一个
JavaRDD<Tuple2<String, String>>
,需要将其转换为 JavaPairRDD<String, String>
。目前我只是编写一个 map 函数,将输入元组原样返回来进行转换。但我想知道是否有更好的方法?JavaRDD<Tuple2<String, String>>
,需要将其转换为 JavaPairRDD<String, String>
。目前我只是编写一个 map 函数,将输入元组原样返回来进行转换。但我想知道是否有更好的方法?JavaPairRDD.fromJavaRDD(rdd)是其中一种解决方案
对于反向转换,似乎这样可以达到目的:
JavaRDD.fromRDD(JavaPairRDD.toRDD(rdd), rdd.classTag());
试试这个例子:
JavaRDD<Tuple2<Integer, String>> mutate = mutateFunction(rdd_world); //goes to a method that generates the RDD with a Tuple2 from a rdd_world RDD
JavaPairRDD<Integer, String> pairs = JavaPairRDD.fromJavaRDD(mutate);
尝试将JavaRDD转换为JavaPairRDD,对我来说它完美地工作。
JavaRDD<Sensor> sensorRdd = lines.map(new SensorData()).cache();
// transform data into javaPairRdd
JavaPairRDD<Integer, Sensor> deviceRdd = sensorRdd.mapToPair(new PairFunction<Sensor, Integer, Sensor>() {
public Tuple2<Integer, Sensor> call(Sensor sensor) throws Exception {
Tuple2<Integer, Sensor> tuple = new Tuple2<Integer, Sensor>(Integer.parseInt(sensor.getsId().trim()), sensor);
return tuple;
}
});
或者您可以在org.apache.spark.api.java.JavaRDD
实例上调用mapToPair(..)
。
new JavaPairRDD(javaRdd)
? - maasgJavaRDD <Tuple2 <String,String>>
,例如从JavaPairRDD的映射转换中,您可以改为调用mapToPair,并避免首先使用JavaRDD。 - vefthym