Pandas中针对之前所有值的条件运行总和

Question

假设我有以下DataFrame：

df = pd.DataFrame({'Event': ['A', 'B', 'A', 'A', 'B', 'C', 'B', 'B', 'A', 'C'], 
                   'Date': ['2019-01-01', '2019-02-01', '2019-03-01', '2019-03-01', '2019-02-15', 
                             '2019-03-15', '2019-04-05', '2019-04-05', '2019-04-15', '2019-06-10'],
                   'Sale': [100, 200, 150, 200, 150, 100, 300, 250, 500, 400]})
df['Date'] = pd.to_datetime(df['Date'])
df

Event         Date  Sale
    A   2019-01-01   100
    B   2019-02-01   200
    A   2019-03-01   150
    A   2019-03-01   200
    B   2019-02-15   150
    C   2019-03-15   100
    B   2019-04-05   300
    B   2019-04-05   250
    A   2019-04-15   500
    C   2019-06-10   400

我希望能得到以下结果：

Event         Date  Sale   Total_Previous_Sale
    A   2019-01-01   100                     0
    B   2019-02-01   200                     0
    A   2019-03-01   150                   100
    A   2019-03-01   200                   100
    B   2019-02-15   150                   200
    C   2019-03-15   100                     0
    B   2019-04-05   300                   350
    B   2019-04-05   250                   350
    A   2019-04-15   500                   450
    C   2019-06-10   400                   100

df['Total_Previous_Sale'] 是当事件 (df['Event']) 发生在其相邻日期 (df['Date']) 之前时的销售总额 (df['Sale'])。例如:

• 事件 A 在 2019-01-01 之前的销售总额为 0，
• 事件 A 在 2019-03-01 之前的销售总额为 100，以及
• 事件 A 在 2019-04-15 之前的销售总额为 100 + 150 + 200 = 450。

基本上，它与条件累计总和几乎相同，但仅适用于所有先前值（不包括当前值）。 我可以使用以下代码获得所需结果：

df['Sale_Total'] = [df.loc[(df['Event'] == df.loc[i, 'Event']) & (df['Date'] < df.loc[i, 'Date']), 
                           'Sale'].sum() for i in range(len(df))]

虽然它运行缓慢，但是它可以正常工作。我相信有一种更好、更快的方法来解决这个问题。我尝试了以下代码：

df['Total_Previuos_Sale'] = df[df['Date'] < df['Date']].groupby(['Event'])['Sale'].cumsum()

或者

df['Total_Previuos_Sale'] = df.groupby(['Event'])['Sale'].shift(1).cumsum().fillna(0)

但它会产生 NaN 或产生不需要的结果。

- Anastasiya-Romanova 秀

Answer 1

首先对于MultiIndex，按照Event和Date聚合求和，然后按照第一层级的Event进行分组，并使用具有累积求和lambda函数的shift，最后将结果join在一起：

s = (df.groupby(['Event', 'Date'])['Sale']
       .sum().groupby(level=0)
       .apply(lambda x: x.shift(1).cumsum())
       .fillna(0)

df = df.join(s.rename('Total_Previuos_Sale'), on=['Event','Date'])
print (df)
  Event        Date  Sale  Total_Previuos_Sale
0     A  2019-01-01   100                  0.0
1     B  2019-02-01   200                  0.0
2     A  2019-03-01   150                100.0
3     A  2019-03-01   200                100.0
4     B  2019-02-15   150                200.0
5     C  2019-03-15   100                  0.0
6     B  2019-04-05   300                350.0
7     B  2019-04-05   250                350.0
8     A  2019-04-15   500                450.0
9     C  2019-06-10   400                100.0

- jezrael

---

啊，谢谢您的答案。看起来您的技巧也可以用来回答我的这个问题。您能够友好地回答一下吗？ - Anastasiya-Romanova 秀

Answer 2

"

最终，我找到了一个更好、更快的方法来获得所需结果。事实证明，这非常容易。可以尝试以下方法：

"

df['Total_Previous_Sale'] = df.groupby('Event')['Sale'].cumsum() \
                          - df.groupby(['Event', 'Date'])['Sale'].cumsum()

- Anastasiya-Romanova 秀