看起来Spark默认会将"org.apache.spark.sql.parquet.row.metadata"写入Parquet文件的页脚。但是,如果我想要向由Spark生成的Parquet文件写入一些随机元数据(例如version = 123),该怎么办?
以下方法行不通:
df.write().option("version","123").parquet("somefile.parquet");
我正在使用Spark版本1.6.2。
看起来Spark默认会将"org.apache.spark.sql.parquet.row.metadata"写入Parquet文件的页脚。但是,如果我想要向由Spark生成的Parquet文件写入一些随机元数据(例如version = 123),该怎么办?
以下方法行不通:
df.write().option("version","123").parquet("somefile.parquet");
我正在使用Spark版本1.6.2。