我需要处理定制的csv文件作为输入,并将csv文件写回HDFS。我能否直接在map reduce类中处理这一过程?
为了处理我的csv文件,我正在使用opencsv库。我看到一些教程中使用inputformat和outputformat标志来指定处理用户定义格式的Java类。有人能否提供如何处理csv文件的建议?
我想坚持使用hadoop提供的工具,否则我自己实现的输入输出格式可能会使我的处理变慢。
我需要处理定制的csv文件作为输入,并将csv文件写回HDFS。我能否直接在map reduce类中处理这一过程?
为了处理我的csv文件,我正在使用opencsv库。我看到一些教程中使用inputformat和outputformat标志来指定处理用户定义格式的Java类。有人能否提供如何处理csv文件的建议?
我想坚持使用hadoop提供的工具,否则我自己实现的输入输出格式可能会使我的处理变慢。