在Apache Zeppelin中,我通过调用从Java JAR加载的类的静态函数创建了一个JavaRDD对象。是否可能使用Pyspark访问此JavaRDD?
我已经能够通过以下低效的方法解决此问题。如果有更简洁的解决方案,我会很高兴看到。
引用部分: Java部分: 1.将RDD的内容映射到它们的序列化版本(例如JSON字符串)。 2.将映射的RDD写入Spark SQL表中。
Python部分: 1.从SqlContext中访问该表。 2.获取表格的RDD,并将其内容映射回其反序列化版本。
我已经能够通过以下低效的方法解决此问题。如果有更简洁的解决方案,我会很高兴看到。
引用部分: Java部分: 1.将RDD的内容映射到它们的序列化版本(例如JSON字符串)。 2.将映射的RDD写入Spark SQL表中。
Python部分: 1.从SqlContext中访问该表。 2.获取表格的RDD,并将其内容映射回其反序列化版本。