如何在Hadoop中读取.deflate文件

Question

我获得了一些带有part-r-00000.deflate扩展名的生成文件。我知道这是压缩文件。 我如何生成可读格式的普通文件？ 当我使用 hadoop fs -text 时，我无法获取纯文本输出。 输出仍然是二进制的。 我该如何解决这个问题?

- Himateja Madala

Answer 1

你可能正在使用一个相当古老的Hadoop版本（例如：0.20.0），其中fs -text无法解压缩文件。

作为一种解决方法，您可以尝试这个单行命令（基于此答案）：

hadoop fs -text file.deflate | perl -MCompress::Zlib -e 'undef $/; print uncompress(<>)'

- Lorand Bendig

---

非常感谢，它帮了我很多.. :) - LPD

Answer 2

您可以使用以下命令进行即时解压缩：

hdfs dfs -text file.deflate | hdfs dfs -put - uncompressed_destination_file

- guignol