我想将我的列类型从字符串更改为日期。我查阅了以下答案:
当我尝试应用来自链接1的答案时,我得到了空值结果,因此我参考了链接2的答案,但是我不理解其中的这一部分:
output_format = ... # Some SimpleDateFormat string
我想将我的列类型从字符串更改为日期。我查阅了以下答案:
当我尝试应用来自链接1的答案时,我得到了空值结果,因此我参考了链接2的答案,但是我不理解其中的这一部分:
output_format = ... # Some SimpleDateFormat string
from pyspark.sql.functions import col, unix_timestamp, to_date
#sample data
df = sc.parallelize([['12-21-2006'],
['05-30-2007'],
['01-01-1984'],
['12-24-2017']]).toDF(["date_in_strFormat"])
df.printSchema()
df = df.withColumn('date_in_dateFormat',
to_date(unix_timestamp(col('date_in_strFormat'), 'MM-dd-yyyy').cast("timestamp")))
df.show()
df.printSchema()
输出结果为:
root
|-- date_in_strFormat: string (nullable = true)
+-----------------+------------------+
|date_in_strFormat|date_in_dateFormat|
+-----------------+------------------+
| 12-21-2006| 2006-12-21|
| 05-30-2007| 2007-05-30|
| 01-01-1984| 1984-01-01|
| 12-24-2017| 2017-12-24|
+-----------------+------------------+
root
|-- date_in_strFormat: string (nullable = true)
|-- date_in_dateFormat: date (nullable = true)
简单的方法:
from pyspark.sql.types import *
df_1 = df.withColumn("col_with_date_format",
df["col_with_date_format"].cast(DateType()))
使用默认的to_date函数是一种更简单的方法:
from pyspark.sql import functions as F
df= df.withColumn('col_with_date_format',F.to_date(df.col_with_str_format))
MM-dd-yyyy
,否则将返回null
。 - Prem