当我在网上搜索和阅读有关这个主题的答案时,我经常会收到令人困惑的信息。有谁可以分享他们的经验吗?我知道压缩的 csv 文件不行,但也许对于 Parquet 文件的文件内部结构来说情况完全不同?
当我在网上搜索和阅读有关这个主题的答案时,我经常会收到令人困惑的信息。有谁可以分享他们的经验吗?我知道压缩的 csv 文件不行,但也许对于 Parquet 文件的文件内部结构来说情况完全不同?
使用GZIP压缩的Parquet文件实际上是可分割的。这是由于Parquet文件的内部布局。无论使用哪种压缩算法,Parquet文件始终是可分割的。
这个事实主要是因为Parquet文件的设计分成以下几部分:
您可以在这里找到更详细的解释:https://github.com/apache/parquet-format#file-format
gz.parquet
格式。压缩应该由 Parquet 实现在 Parquet 内部完成。如果您有一个先生成 Parquet,然后再对其运行 GZIP 的工具,则这些实际上是无效的 Parquet 文件。对于 Parquet 来说,一些格式的部分不被压缩是至关重要的(例如头文件)。这些部分非常小(通常只有大约一到两个 KiB),但是压缩它们会导致显着的性能损失。 - Uwe L. Korn