编写Delta编码的Parquet文件。

Question

3

我知道Apache Arrow Parquet可以读取符合规范的Delta编码文件，但无法将其写出。我想知道是否有常用的开源C++/ Python库可以写出符合Parquet规范的Delta编码。

- cogle

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- zyd · Accepted Answer

有一个名为delta-rs的 Rust 库具有 Python 绑定，它拥有一个文件编写器，可以将 Apache Arrow Table 或 RecordBatch 写入 Delta 格式。请注意，它目前还不支持事务或检查点。

看起来这是一个相当活跃的项目，最近的贡献都是关于 Delta 优化的，这很酷。

注意: delta-rs 的 Delta 编写功能标记为实验性，因此可能不是完全稳定的。