我有一个Spark DataFrame df
,其模式如下:
root
|-- k: integer (nullable = false)
|-- v: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- a: integer (nullable = false)
| | |-- b: double (nullable = false)
| | |-- c: string (nullable = true)
是否可以在不进行映射的情况下,仅从df
中选择a, c
在v
中?特别是,df
是从Parquet文件加载的,我甚至不想加载/读取c
的值。