使用DataStax Spark Cassandra连接器将PairDStream写入Cassandra

Question

我需要使用Java和Datastax Spark Cassandra Connector将筛选后的流数据写入Cassandra。我遵循了datastax java documentation。

文档解释了如何将RDD写入Cassandra，但没有解释如何写Dstream。

我需要能够保存PairDStream，但我不知道该怎么做，因为所有示例都是用Scala编写的。

我需要将以下用Scala编写的代码转换为Java代码：

val wc = stream.flatMap(_.split("\\s+"))
    .map(x => (x, 1))
    .reduceByKey(_ + _)
    .saveToCassandra("streaming_test", "words", SomeColumns("word", "count")) 

基本上我需要保存一个 JavaPairDStream<String, Integer>。

- theShadow89

---

你正在使用Java 8吗？[它有流。]（http://docs.oracle.com/javase/tutorial/collections/streams/#pipelines） - Matt Ball

Answer 1

如果有人正在寻找答案，以下是解决方案

要将DStream或JavaDStream写入Cassandra，需要导入：

import static com.datastax.spark.connector.japi.CassandraStreamingJavaUtil.*;

使用 javaFunctions(DStream<T> arg0) 或 javaFunctions(JavaDStream<T> arg0) 方法

- abhiadh