关联标签
8得票1回答
将数据从Spark拉入RDD、Dataframe或Dataset
我试图简单地解释当Spark通过驱动程序拉取数据时以及当Spark不需要通过驱动程序拉取数据时的情况。 我有三个问题： 1.假设你有一个存储在HDFS中的20TB平面文件，从驱动程序中使用其中一个库的开箱即用函数（`sc.textfile（path）`或`sc.textfile（path）...
7得票3回答
配置 Elasticsearch Apache Flume 的接收端
这是我第一次来到这里，如果我的帖子不够好或者我的英语不太好，请谅解。 我正在尝试配置Apache Flume和Elasticsearch接收器。一切都很好，看起来运行正常，但是当我启动代理时会出现两个警告，如下所示： 2015-11-16 09:11:22,122 (lifecycleSu...
7得票1回答
使用Snowpipe - 加载小文件的最佳实践。例如，每天数千个4K文件？
问题 使用Snowpipe加载小文件（例如4K）相比推荐的1-10MB文件大小，成本会更高多少？注意：这个问题意味着加载小文件比推荐的1-10MB文件大小更昂贵。 了解最佳实践是加载1-10MB大小的文件，但我需要几分钟内完成近实时传输。我可以将文件连接起来使它们更大，但在发送微批处理到S...
7得票3回答
NiFi FlowFile Repository 更新失败。
我正在使用Apache NiFi来摄取和预处理一些CSV文件，但当长时间运行时，它总是失败。错误始终相同： FlowFile Repository failed to update 查看日志，我经常看到这个错误： 2018-07-11 22:42:49,913 ERROR [Timer...