我有一个parquet文件,每一列都是不同的序列化proto-buffer。当我尝试读取时,出现了“
”错误。
Dataset<Row> df = spark.read().parquet("test.parquet");
df.printSchema();
我收到了
root
|-- A: binary (nullable = true)
|-- B: binary (nullable = true)
但是我想看到
root
|-- A: struct
|-- a: string
|-- b: int
|-- B: struct
|-- c: int
|-- d: string
有没有一种方法可以读取parquet文件,并将每个二进制列反序列化为结构体? 我曾考虑使用Apache Parquet Proto,但这对我来说并不适用,因为它假设parquet文件的列已经是结构体格式,而不是二进制格式。