关联标签
10得票1回答
Pypsark - 使用collect_list函数时保留null值
根据pyspark collect_set or collect_list with groupby中的最佳答案，当您对某一列进行collect_list操作时，该列中的null值将被删除。我已经验证了这一点。 但在我的情况下，我需要保留空列--怎样实现这个需求呢？ 我没有找到任何有关这种...
10得票2回答
ElasticSearch 转换为 Spark RDD
我在本地机器上测试了ElasticSearch和Spark的集成，使用了一些加载到elasticsearch中的测试数据。val sparkConf = new SparkConf().setAppName("Test").setMaster("local") val sc = new Spa...
7得票1回答
将Spark数据框保存到Elasticsearch中 - 无法处理类型异常。
我设计了一个简单的作业，使用Spark从MySQL中读取数据并将其保存在Elasticsearch中。 以下是代码： JavaSparkContext sc = new JavaSparkContext( new SparkConf().setAppName("MySQLt...