我是 Spark 的初学者,正在尝试理解 Spark 数据框架的机制。我正在比较在从 csv 和 Parquet 中加载数据时,在 Spark SQL 数据框架上运行 SQL 查询的性能差异。我的理解是,一旦数据加载到 Spark 数据框架中,数据源(csv 或 parquet)不应该影响查询的性能。但是我发现两者之间存在显著的性能差异。我使用以下命令加载数据,然后针对数据编写查询。
dataframe_csv = sqlcontext.read.format("csv").load()
dataframe_parquet = sqlcontext.read.parquet()
请解释差异的原因。