我需要导入大型JSON文件,其中的记录可能跨越多行(而不是文件)(这完全取决于数据提供者的编写方式)。
Elephant-Bird假设使用LZO压缩,但我知道数据提供者不会这样做。
Dzone文章http://java.dzone.com/articles/hadoop-practice假设JSON记录在同一行上。
有什么想法,除了压缩JSON之外...文件会很大...如何正确地拆分文件,使JSON不会中断。
编辑:行而不是文件
Elephant-Bird假设使用LZO压缩,但我知道数据提供者不会这样做。
Dzone文章http://java.dzone.com/articles/hadoop-practice假设JSON记录在同一行上。
有什么想法,除了压缩JSON之外...文件会很大...如何正确地拆分文件,使JSON不会中断。
编辑:行而不是文件