我是新手,正在尝试处理维基百科转储。这是一个6.7GB的gzip压缩XML文件。我了解到Hadoop支持gzip压缩文件,但只能在单个作业中由mapper处理,因为只有一个mapper可以对其进行解压缩。这似乎对处理造成了限制。是否有其他选择?例如,将XML文件解压缩并拆分为多个块,然后再用gzip重新压缩它们。
我从http://researchcomputing.blogspot.com/2008/04/hadoop-and-compressed-files.html了解有关Hadoop gzip的信息。
感谢您的帮助。
我从http://researchcomputing.blogspot.com/2008/04/hadoop-and-compressed-files.html了解有关Hadoop gzip的信息。
感谢您的帮助。