我有一个需求,需要将一个大小为5GB的ORC文件分成5个大小为1GB的文件。 ORC文件是可分割的。这是否意味着我们只能逐个条带地拆分文件? 但我的要求是根据大小拆分ORC文件。 例如,将5GB ORC文件拆分为每个1GB大小的5个文件。 如果可能的话,请分享示例。
我有一个需求,需要将一个大小为5GB的ORC文件分成5个大小为1GB的文件。 ORC文件是可分割的。这是否意味着我们只能逐个条带地拆分文件? 但我的要求是根据大小拆分ORC文件。 例如,将5GB ORC文件拆分为每个1GB大小的5个文件。 如果可能的话,请分享示例。
set hive.merge.mapredfiles=true;
set hive.merge.mapfiles=true;
set hive.merge.smallfiles.avgsize=1073741824;
set hive.merge.size.per.task=1073741824;
这样,对于每个Reducer来说,输出的平均值将为1073741824字节
,相当于1GB
。
如果您只想使用Java代码,请尝试使用以下标志:
mapred.max.split.size
mapred.min.split.size