我有大量的json文件,Spark 2.0可以在36秒内读取这些文件,但是Spark 3.0要花费近33分钟才能读取。经过更仔细的分析,看起来Spark 3.0选择的DAG与Spark 2.0不同。有没有人知道发生了什么?Spark 3.0是否存在任何配置问题。 Spark 2.4 sca...
我正在使用 Spark 3.0.1,搭配用户提供的 Hadoop 3.2.0 和 Scala 2.12.10,在 Kubernetes 上运行。 当读取一个采用snappy压缩格式的parquet文件时,一切正常。然而,当我尝试读取一个采用zstd压缩格式的parquet文件时,几个任务失败...
我正在尝试使用to_date()解析日期,但是我遇到了以下异常。 SparkUpgradeException:由于升级为Spark 3.0,您可能会得到不同的结果:无法在新解析器中解析“12/1/2010 8:26”。您可以将spark.sql.legacy.timeParserPolicy...