如何在HDFS中压缩文件而不将其拉入本地文件系统

Question

3

是否可以在不将文件拉入本地系统驱动器的情况下压缩HDFS中的文件？我通常通过执行hadoop fs -get filename命令将文件拉取到本地并使用Linux zip命令进行压缩...但是我能否直接在HDFS中完成这个过程呢？

- lightweight

你想要最终得到一个在HDFS中的压缩文件，还是在本地文件系统中？ - Matt Ball

我猜两种方式都可以……理想情况下希望最终在本地文件系统中，但为了以防万一还想知道如何两种方式都实现。 - lightweight

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- RojoSam · Accepted Answer

您可以使用身份映射器（输出与输入相同）而不是Reducer来创建MapReduce作业；配置Mapper输出为压缩格式。我建议使用GZip或LZO而不是Zip格式，但只有您知道自己的需求。