我有很多巨大的文本文件,需要以最高比率压缩。 压缩速度可以慢一些,只要解压速度合理即可。
这些文件中的每一行都包含一个数据集,并且它们可以以任何顺序存储。
类似于这个问题: 对文件进行排序以优化压缩效率
但对我来说,压缩速度不是问题。 是否有现成的工具可以将相似的行分组在一起? 或者只是一个我可以实现的算法?
仅仅排序就有了一些改进,但我怀疑可以做得更好。
每个文件约有6亿行,每行~40字节,总共24GB。 使用xz压缩到约10GB。
这些文件中的每一行都包含一个数据集,并且它们可以以任何顺序存储。
类似于这个问题: 对文件进行排序以优化压缩效率
但对我来说,压缩速度不是问题。 是否有现成的工具可以将相似的行分组在一起? 或者只是一个我可以实现的算法?
仅仅排序就有了一些改进,但我怀疑可以做得更好。
每个文件约有6亿行,每行~40字节,总共24GB。 使用xz压缩到约10GB。