我正在尝试使用to_date()
解析日期,但是我遇到了以下异常。
SparkUpgradeException:由于升级为Spark 3.0,您可能会得到不同的结果:无法在新解析器中解析“12/1/2010 8:26”。您可以将spark.sql.legacy.timeParserPolicy设置为LEGACY以恢复Spark 3.0之前的行为,或者将其设置为CORRECTED并将其视为无效的日期时间字符串。
该异常建议我使用旧版本的时间解析器,但首先我不知道如何将其设置为Legacy。
这是我的实现:
dfWithDate = df.withColumn("date", to_date(col("InvoiceDate"), "MM/dd/yyyy"))
我的日期格式如下:
+--------------+
| InvoiceDate|
+--------------+
|12/1/2010 8:26|
|12/1/2010 8:26|
|12/1/2010 8:26|
|12/1/2010 8:26|
|12/1/2010 8:26|