使用Spark写入Parquet文件时如何添加额外的元数据

Question

3

看起来Spark默认会将"org.apache.spark.sql.parquet.row.metadata"写入Parquet文件的页脚。但是，如果我想要向由Spark生成的Parquet文件写入一些随机元数据（例如version = 123），该怎么办？

以下方法行不通：

df.write().option("version","123").parquet("somefile.parquet");

我正在使用Spark版本1.6.2。

- xfj

1

这里提供了一些如何实现的示例，但据我所知，没有内置的方法。 - James Tobin

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- James Tobin · Accepted Answer

列级元数据，是的，请看我的评论。

可惜还没有。