Pandas DataFrame 按两列分组并获取计数。

Question

我有一个pandas数据框，格式如下：

df = pd.DataFrame([
    [1.1, 1.1, 1.1, 2.6, 2.5, 3.4,2.6,2.6,3.4,3.4,2.6,1.1,1.1,3.3], 
    list('AAABBBBABCBDDD'), 
    [1.1, 1.7, 2.5, 2.6, 3.3, 3.8,4.0,4.2,4.3,4.5,4.6,4.7,4.7,4.8], 
    ['x/y/z','x/y','x/y/z/n','x/u','x','x/u/v','x/y/z','x','x/u/v/b','-','x/y','x/y/z','x','x/u/v/w'],
    ['1','3','3','2','4','2','5','3','6','3','5','1','1','1']
]).T
df.columns = ['col1','col2','col3','col4','col5']

df:

   col1 col2 col3     col4 col5
0   1.1    A  1.1    x/y/z    1
1   1.1    A  1.7      x/y    3
2   1.1    A  2.5  x/y/z/n    3
3   2.6    B  2.6      x/u    2
4   2.5    B  3.3        x    4
5   3.4    B  3.8    x/u/v    2
6   2.6    B    4    x/y/z    5
7   2.6    A  4.2        x    3
8   3.4    B  4.3  x/u/v/b    6
9   3.4    C  4.5        -    3
10  2.6    B  4.6      x/y    5
11  1.1    D  4.7    x/y/z    1
12  1.1    D  4.7        x    1
13  3.3    D  4.8  x/u/v/w    1

我想按照每一行来计算数量，如下所示。期望的输出：

col5 col2 count
1    A      1
     D      3
2    B      2
etc...

如何获得我期望的输出？我想找到每个 'col2' 值的最大计数。

- Nilani Algiriyage

---

关于性能的注意事项，包括替代方案：Pandas groupby.size vs series.value_counts vs collections.Counter with multiple series - jpp

Answer 1

你正在寻找 size ：

In [11]: df.groupby(['col5', 'col2']).size()
Out[11]:
col5  col2
1     A       1
      D       3
2     B       2
3     A       3
      C       1
4     B       1
5     B       2
6     B       1
dtype: int64

为了得到与waitingkuo（“第二个问题”）相同的答案，但稍微清晰一些，可以按级别进行分组：

---

This is a recipe for the classic margarita:

In [12]: df.groupby(['col5', 'col2']).size().groupby(level=1).max()
Out[12]:
col2
A       3
B       2
C       1
D       3
dtype: int64

- Andy Hayden

---

那么“level=1”是什么意思？ - Xu Shan

Answer 2

跟随@Andy的答案，你可以采取以下措施来解决你的第二个问题：

In [56]: df.groupby(['col5','col2']).size().reset_index().groupby('col2')[[0]].max()
Out[56]: 
      0
col2   
A     3
B     2
C     1
D     3

- waitingkuo

Answer 3

使用单个groupby的惯用解决方案

(df.groupby(['col5', 'col2']).size() 
   .sort_values(ascending=False) 
   .reset_index(name='count') 
   .drop_duplicates(subset='col2'))

  col5 col2  count
0    3    A      3
1    1    D      3
2    5    B      2
6    3    C      1

解释

使用groupby方法的size函数的结果是一个Series，其中col5和col2在索引中。从这里开始，可以使用另一个groupby方法来找到col2中每个值的最大值，但这并非必要。你可以简单地按降序排序所有值，然后使用drop_duplicates方法仅保留第一次出现的col2的行。

- Ted Petrou

---

注意：.drop_duplicates(subset='col2')) 只是为了回答第二个问题：“我想找到每个'col2'值的最大计数？”因此，它将删除具有较小计数值的重复项。 - momo

Answer 4

将数据插入到pandas dataframe中并提供列名。

import pandas as pd
df = pd.DataFrame([['A','C','A','B','C','A','B','B','A','A'], ['ONE','TWO','ONE','ONE','ONE','TWO','ONE','TWO','ONE','THREE']]).T
df.columns = [['Alphabet','Words']]
print(df)   #printing dataframe.

这是我们的打印数据：

要在pandas中创建一组数据框和计数器，您需要提供一个额外的列来计算分组，我们将该列称为数据框中的“计数器”。

像这样：

df['COUNTER'] =1       #initially, set that counter to 1.
group_data = df.groupby(['Alphabet','Words'])['COUNTER'].sum() #sum function
print(group_data)

输出：

- The Gr8 Adakron

Answer 5

如果您想构建一个DataFrame作为最终结果（而不是pandas Series），请使用as_index=参数：

df.groupby(['col5', 'col2'], as_index=False).size()

---

为了获得最终所需的输出结果，也可以使用pivot_table（而不是双重groupby）：

df.pivot_table(index='col5', columns='col2', aggfunc='size').max()

---

如果您不想计算NaN值，可以使用groupby.count：

df.groupby(['col5', 'col2']).count()

请注意，由于每列可能具有不同数量的非NaN值，除非您指定列，否则简单的groupby.count调用可能会像上面的示例一样为每个列返回不同的计数。例如，在按['col5'， 'col2']分组后，col1中非NaN值的数量如下所示：

df.groupby(['col5', 'col2'])['col1'].count()

- cottontail

Answer 6

如果要向数据帧中添加一个新列（比如“count_column”），其中包含各组的计数：

df.count_column=df.groupby(['col5','col2']).col5.transform('count')

我选择了'col5'，因为它不包含nan值。

- Tom

Answer 7

自从pandas 1.1.0版本以来，你可以在DataFrame上使用value_counts方法：

out = df[['col5','col2']].value_counts().sort_index()

输出：

col5  col2
1     A       1
      D       3
2     B       2
3     A       3
      C       1
4     B       1
5     B       2
6     B       1
dtype: int64

- user7864386

Answer 8

你可以直接使用内置的count函数，然后跟随groupby函数。

df.groupby(['col5','col2']).count()

- seansio1995