Spark是否有开箱即用的功能可将RDD绑定到REST服务?也就是说,调用Web服务并获取一个RDD。
或者,最简单的方法是自己调用REST服务,然后将结果集转换为RDD吗?
谢谢。
Spark是否有开箱即用的功能可将RDD绑定到REST服务?也就是说,调用Web服务并获取一个RDD。
或者,最简单的方法是自己调用REST服务,然后将结果集转换为RDD吗?
谢谢。
我使用 Jersey 客户端,读取一个字符串(每行一个完整的 JSON 文档),并使用该字符串执行以下操作:
val stringResponse = request.request().get(classOf[String])
val jsonDataset = session.createDataset[String](Seq(stringResponse))
// try with case class
val parsedResponse = session.read.json(jsonDataset)
...这将生成一个DataFrame,您可以在其上选择内容。
您可以参考链接Spark-Jobserver
我认为您正在寻找的Spark-Jobserver的一些特点包括:
希望这有所帮助。