我有一个巨大的CSV文件,想在亚马逊EMR上使用Hadoop MapReduce来处理它(使用Python)。
文件有7个字段,但我只关注日期和数量字段。
"date" "receiptId" "productId" "quantity" "price" "posId" "cashierId"
首先,我的mapper.py文件
import sys
def main(argv):
line = sys.stdin.readline()
try:
while line:
list = line.split('\t')
#If date meets criteria, add quantity to express key
if int(list[0][11:13])>=17 and int(list[0][11:13])<=19:
print '%s\t%s' % ("Express", int(list[3]))
#Else, add quantity to non-express key
else:
print '%s\t%s' % ("Non-express", int(list[3]))
line = sys.stdin.readline()
except "end of file":
return None
if __name__ == "__main__":
main(sys.argv)
对于reducer,我将使用流式命令:aggregate。
问题:
我的代码正确吗?我在Amazon EMR上运行它,但输出为空。
因此,我的最终结果应该是:express,XXX和non-express,YYY。我可以将其做成返回结果前的除法操作吗?只需XXX/YYY的结果。我应该把这段代码放在哪里?一个reducer中吗?
此外,这是一个巨大的CSV文件,所以mapping会将其分成几个分区吗?还是我需要显式调用FileSplit?如果是这样,我该怎么做?