Pandas：计算一行与所有其他行之间的差异

Question

我正在尝试创建与日期列中的每个日期对应的新列。每个列必须包含该日期与所有其他日期之间的差异。

输入：

date
11-Sep-18
8-Jun-18
12-Sep-17
12-Jun-17

输出必须是：

date        Diff_date1  Diff_date2  Diff_date3  Diff_date4
11-Sep-18   0             -95           -364       -456
8-Jun-18    95             0            -269       -361
12-Sep-17   364           269             0         -92
12-Jun-17   456           361             92         0

编辑: 子问题 如何使用 groupby 来做到这一点？每个组中的行数都不同。

ID  date        Diff_date1  Diff_date2  Diff_date3  Diff_date4
A  11-Sep-18    0             -95           -364       -456
A   8-Jun-18    95             0            -269       -361
A  12-Sep-17    364           269             0         -92
A  12-Jun-17    456           361             92         0


ID  date        Diff_date1  Diff_date2  Diff_date3  Diff_date4  Diff_date5
B  11-Jun-18    0             -123          -395       -456        -730
B   8-Feb-18    123            0            -272       -333        -607
B  12-May-17    395           272             0         -61        -335
B  12-Mar-17    456           333            274         0         -274
B  11-Jun-16    730           607            398        274         0

- user0205

Answer 1

安装

df['date'] = pd.to_datetime(df['date'])

---

你可以在这里使用 numpy，并使用subtract.outer

d = np.subtract.outer(df.date, df.date)

u = pd.DataFrame(d, index=df.date).rename(columns=lambda x: f'Diff_date{x+1}')

           Diff_date1 Diff_date2 Diff_date3 Diff_date4
date
2018-09-11     0 days    95 days   364 days   456 days
2018-06-08   -95 days     0 days   269 days   361 days
2017-09-12  -364 days  -269 days     0 days    92 days
2017-06-12  -456 days  -361 days   -92 days     0 days

如果你想要相反的关系（根据你想要的输出可能会这样做），只需乘以-1。

- user3483203

---

刚刚添加了一个子问题。你能看一下吗？ - user0205

Answer 2

使用numpy的broadcast功能

s=pd.to_datetime(df.date)

df=pd.concat([df,pd.DataFrame((s.values[:,None]-s.values)/np.timedelta64(1, 'D'),index=df.index)],axis=1)
df
Out[193]: 
        date      0      1      2      3
0  11-Sep-18    0.0   95.0  364.0  456.0
1   8-Jun-18  -95.0    0.0  269.0  361.0
2  12-Sep-17 -364.0 -269.0    0.0   92.0
3  12-Jun-17 -456.0 -361.0  -92.0    0.0

- BENY

---

刚刚添加了一个子问题。你能看一下吗？ - user0205

@user0205 用group by然后for循环来实现。 - BENY

Answer 3

Another way using numpy,

df['date'] = pd.to_datetime(df['date'])
columns = ['Diff_date_' + str(i) for i in np.arange(len(df['date']))]
pd.DataFrame(df['date'].values - df['date'].values[:,np.newaxis], index = df['date'], columns = columns)


            Diff_date_0 Diff_date_1 Diff_date_2 Diff_date_3
date                
2018-09-11  0 days      -95 days    -364 days   -456 days
2018-06-08  95 days     0 days      -269 days   -361 days
2017-09-12  364 days    269 days    0 days      -92 days
2017-06-12  456 days    361 days    92 days     0 days

- Vaishali

---

刚刚添加了一个子问题。你能看一下吗？ - user0205