这样做的目的是为了在HDFS的第二个位置操作和保存每个数据文件的副本。我将使用
RddName.coalesce(1).saveAsTextFile(pathName)
将结果保存到HDFS。
这就是为什么我想要单独处理每个文件,即使我知道性能不会像批量处理那样高效。但是,我还没有确定如何将CSV文件路径列表存储到字符串数组中,然后使用单独的RDD循环遍历每个文件。
让我们使用以下匿名示例作为HDFS源位置:
/data/email/click/date=2015-01-01/sent_20150101.csv
/data/email/click/date=2015-01-02/sent_20150102.csv
/data/email/click/date=2015-01-03/sent_20150103.csv
我知道如何使用Hadoop FS Shell列出文件路径:
HDFS DFS -ls /data/email/click/*/*.csv
我知道如何为所有数据创建一个RDD:
val sentRdd = sc.textFile( "/data/email/click/*/*.csv" )