在Pandas Groupby中添加小计

Question

我希望您能够以更简洁的方式为 Pandas groupby 添加小计。以下是我的 DataFrame：

df = pd.DataFrame({
'Category':np.random.choice( ['Group A','Group B'], 50),
'Sub-Category':np.random.choice( ['X','Y'], 50),
'Product':np.random.choice( ['Product 1','Product 2'], 50),
'Units_Sold':np.random.randint(1,100, size=(50)),
'Dollars_Sold':np.random.randint(100,1000, size=50),
'Date':np.random.choice( pd.date_range('1/1/2011','03/31/2011',  
                      freq='D'), 50, replace=False)})

从那里开始，我会创建一个新的分组数据框，如下所示：

df1 = df.groupby(['Category','Sub-Category','Product',pd.TimeGrouper(key='Date',freq='M')]).agg({'Units_Sold':'sum','Dollars_Sold':'sum'}).unstack().fillna(0)

我想为分类和子分类提供小计。我可以使用以下代码实现：

df2 = df1.groupby(level=[0,1]).sum()
df2.index = pd.MultiIndex.from_arrays([df2.index.get_level_values(0),
                                   df2.index.get_level_values(1) + ' Total',
                                   len(df2) * ['']])
df3 = df1.groupby(level=[0]).sum()
df3.index = pd.MultiIndex.from_arrays([df3.index.get_level_values(0) + ' Total',
                                   len(df3) * [''],
                                   len(df3) * ['']])
pd.concat([df1,df2,df3]).sort_index()

这给我提供了我想要的DataFrame： 最终的DataFrame 我的问题是，除了创建每个级别的新DataFrame然后连接在一起之外，是否有更Pythonic的方法？我已经进行了研究，但找不到更好的方法。我需要对许多不同的MultiIndex数据框执行此操作，并寻求更好的解决方案。

提前感谢您的帮助！

附加信息的编辑：

感谢@Wen和@DaFanat的回复。我尝试使用@Wen提供的链接处理我的数据[链接]：Python（Pandas）在多级索引数据框的每个级别上添加小计

pd.concat([df.assign(\
    **{x: 'Total' for x in "CategorySub-CategoryProduct"[i:]}\
    ).groupby(list('abc')).sum() for i in range(1,4)])\
    .sort_index()

这个代码计算了总和，但忽略了构成列的第二层级别的日期。这导致了这个结果Resulting Image。

我已经尝试使用TimeGrouper和groupby一起使用，但出现了错误。非常感谢您的帮助！谢谢！

- keg5038

---

这是一个链接。https://dev59.com/olgQ5IYBdhLWcg3wJgiO - BENY

在上面的评论中 - 这是另一个有许多方法的问题。https://dev59.com/u2Up5IYBdhLWcg3wCUCx - yoav_aaa

Yw，你应该感谢 PiR :) - BENY

@Wen 谢谢你提供的链接 - 非常感谢！我尝试使用那个链接中的示例来处理我的数据，但不幸的是我无法使其正常工作。我会更新上面的内容以展示我的进展。再次感谢！ - keg5038

Answer 1

通过将您上面的尝试与@piRSquared的示例对齐，我可以让您更接近目标。

列表必须匹配MultiIndex。请尝试使用以下代码：

iList = ['Category','Sub-Category','Product']
pd.concat([
    df1.assign(
        **{x: '' for x in iList[i:]}
    ).groupby(iList).sum() for i in range(1,4)
]).sort_index()

它没有在正确的位置显示单词“Total”，每个组的总数也不在底部，但至少它基本上是功能正确的。由于DataFrame中的值是随机的，因此我的总数将不匹配。

我花了一些时间来研究Python（Pandas）Add subtotal on each lvl of multiindex dataframe中提供的原始答案。但是相同的逻辑也适用于这里。

assign()用字典推导返回的字典中的内容替换列中的值。然后，groupby()仅查找非空列的唯一值并相应地对它们进行求和。这些groupby被包含在列表理解中，所以pd.concat()只是组合这些行集。sort_index()将索引标签按升序放置。(是的，你仍然会收到关于“列名和索引级别”的警告，但它仍然有效。)

- George Luft