如果我必须逐行将文本文件转换为另一个文本文件,我们应该如何设计 mapper/reducer?
我写了一些简单的 map/reduce 程序,但要求有点更加详细,请参考以下说明:
- 文件通常是这样结构化的——第一行包含用逗号分隔的列名列表。第二行和其余行指定相对于列的值。 - 在某些行中,尾部列的值可能会丢失。例如,如果有 15 列,那么仅为前 10 列指定值。 - 我有大约 5 个输入文件需要转换并聚合到一个文件中。每个输入文件的转换都是特定的。 - 如何将上下文信息(如文件名)传递给 mapper/reducer 程序? - 转换是特定于列的,那么如何记住第一行中提到的列,然后关联并转换行中的值?
我写了一些简单的 map/reduce 程序,但要求有点更加详细,请参考以下说明:
- 文件通常是这样结构化的——第一行包含用逗号分隔的列名列表。第二行和其余行指定相对于列的值。 - 在某些行中,尾部列的值可能会丢失。例如,如果有 15 列,那么仅为前 10 列指定值。 - 我有大约 5 个输入文件需要转换并聚合到一个文件中。每个输入文件的转换都是特定的。 - 如何将上下文信息(如文件名)传递给 mapper/reducer 程序? - 转换是特定于列的,那么如何记住第一行中提到的列,然后关联并转换行中的值?