如何在Pyspark中将十天添加到现有日期列

Question

我在Pyspark中有一个数据框，其中有一个名为“report_date”的日期列。

我想创建一个名为“report_date_10”的新列，该列是将原始的report_date列增加10天后得到的。

以下是我尝试过的代码:

df_dc["report_date_10"] = df_dc["report_date"] + timedelta(days=10)

我遇到了这个错误：

AttributeError: 'datetime.timedelta'对象没有属性'_get_object_id'

求助！谢谢

- PineNuts0

---

如何实现这一点，本质上是在如何创建良好可重复的Apache Spark DataFrame示例中提供的示例。 - pault

Answer 1

看起来你正在使用 pandas 语法添加列；对于 Spark，你需要使用 withColumn 添加新列；对于添加日期，有内置的 date_add 函数：

import pyspark.sql.functions as F
df_dc = spark.createDataFrame([['2018-05-30']], ['report_date'])

df_dc.withColumn('report_date_10', F.date_add(df_dc['report_date'], 10)).show()
+-----------+--------------+
|report_date|report_date_10|
+-----------+--------------+
| 2018-05-30|    2018-06-09|
+-----------+--------------+

- Psidom

---

如何使用current_date而不是固定值添加列值？例如：另一列具有整数值，需要与当前日期相加，以便每行都有不同的日期。 - Innovator-programmer