我的数据集大小为3位数GB甚至1到2位数TB。所以输入文件是一系列的文件，每个文件大约10GB。我的Hadoop中的MapReduce作业处理所有这些文件，然后只生成一个输出文件（其中包含汇总信息）。
我的问题是：
从Apache来调整Hadoop/MapReduce框架，适合的文件大小是多少？我听说更喜欢较大的文件大小而不是小的文件大小。有任何想法吗？我唯一确定的是，Hadoop默认读取64MB的块。因此，如果文件大小是64MB的倍数，则会非常好。
目前，我的应用程序将输出文件写入一个文件中。因此，文件大小当然为3位数的gigabit。我想知道如何有效地对文件进行分区。当然，我可以使用某些Unix工具来完成这项工作。但是，直接在Hadoop中执行此操作是否更可取？
感谢您的意见！
P.S.： 我没有压缩文件。输入文件的文件格式为文本/ CSV。
输入文件的大小：
一种调整方法是查看map任务完成的速度。每个map任务将接收1个文件作为输入，如果它们在30-40秒内完成，则应考虑增加每个文件的大小，以使每个mapper有更多的工作要做。这是因为map任务需要大约30秒的时间来初始化，然后才会开始真正的工作。
此外，这也取决于您的集群可以同时运行多少个map任务。您可以尝试调整文件和块大小，以充分利用尽可能多的map任务。请参阅此博客文章以获取更多想法：http://www.cloudera.com/blog/2009/12/7-tips-for-improving-mapreduce-performance/
输出文件的大小：
简单地说，您可以指定多个reducer（每个reducer将生成一个输出文件）来实现这一点。如果您想按某些键（例如年-月）对结果进行分区，可以在map任务的输出键中包含该键，并将它们排序到同一个reducer中。然后您只需检查每个文件以查看它具有哪个年-月键。
压缩：
我建议您考虑对文件进行压缩。这样做将使输入文件“变大”，因为每个文件将包含更多数据供单个map任务操作。它还将减少集群中使用的磁盘量。如果有的话，它可能还会提高集群上mapreduce的性能，因为读取和移动文件时会发生更少的磁盘I/O和网络流量。
此外，压缩map任务的中间输出（从map任务输出到reducer之前）也会以类似的方式增加性能。这可以通过设置mapred.compress.map.output=true来完成。
对于某些输入格式，您可以设置分割大小，默认情况下大多数格式（包括TextInputFormat）每个块创建一个映射。因此，如果您有几个不同的文件，则会产生更多的不完整的64MB块，这是浪费映射的资源。映射数量通常由输入的总大小（即输入文件块的总数）驱动。映射的正确并行级别似乎是每个节点10-100个映射，虽然已经设置了300个映射以处理非常轻的CPU映射任务。任务设置需要一些时间，因此最好让映射至少执行一分钟。
