使用pandas dataframe进行分组并获取第n行

Question

我有一个像下面这样的pandas DataFrame。

df = pd.DataFrame([[1.1, 1.1, 1.1, 2.6, 2.5, 3.4,2.6,2.6,3.4,3.4,2.6,1.1,1.1,3.3], list('AAABBBBABCBDDD'), [1.1, 1.7, 2.5, 2.6, 3.3, 3.8,4.0,4.2,4.3,4.5,4.6,4.7,4.7,4.8], ['x/y/z','x/y','x/y/z/n','x/u','x','x/u/v','x/y/z','x','x/u/v/b','-','x/y','x/y/z','x','x/u/v/w'],['1','3','3','2','4','2','5','3','6','3','5','1','1','1'],['200','400','404','200','200','404','200','404','500','200','500','200','200','400']]).T

df.columns = ['col1','col2','col3','col4','ID','col5']

我希望将此内容按“ID”分组，并获取每个组的第二行。稍后我还需要获取第三和第四行。请告诉我如何仅获取每个组的第二行。

我尝试了以下方法，但会同时返回第一行和第二行。

df.groupby('ID').head(2)

我需要获取仅第二行。由于ID为4和6没有第二行，因此需要忽略它们。

             col1 col2 col3     col4     ID    col5
ID                                           
1       0   1.1     A  1.1    x/y/z       1    200
        11  1.1     D  4.7    x/y/z       1    200
2       3   2.6     B  2.6      x/u       2    200
        5   3.4     B  3.8    x/u/v       2    404
3       1   1.1     A  1.7      x/y       3    400
        2   1.1     A  2.5  x/y/z/n       3    404
4       4   2.5     B  3.3        x       4    200
5       6   2.6     B    4    x/y/z       5    200
        10  2.6     B  4.6      x/y       5    500
6       8   3.4     B  4.3  x/u/v/b       6    500

- Nilani Algiriyage

Answer 1

我认为第n个方法就是做那件事情的：

In [10]: g = df.groupby('ID')
In [11]: g.nth(1).dropna()
Out[11]: 
    col1 col2  col3     col4 col5
ID                               
1    1.1    D   4.7    x/y/z  200
2    3.4    B   3.8    x/u/v  404
3    1.1    A   2.5  x/y/z/n  404
5    2.6    B   4.6      x/y  500

在0.13版本中，另一种做法是使用cumcount函数：

df[g.cumcount() == n - 1]

...这是明显地更快。

In [21]: %timeit g.nth(1).dropna()
100 loops, best of 3: 11.3 ms per loop

In [22]: %timeit df[g.cumcount() == 1]
1000 loops, best of 3: 286 µs per loop

- Andy Hayden

Answer 2

如果您在groupby上使用apply，传递的函数将在每个组上调用，并作为DataFrame传递。因此，您可以这样做：

df.groupby('ID').apply(lambda t: t.iloc[1])

然而，如果该组没有至少两行，则会引发错误。如果您想排除少于两行的组，那可能会更棘手。我不知道有没有一种方法可以仅排除某些组的应用结果。您可以尝试首先通过删除小组来过滤组列表，或者返回一个填充了nan的一行数据帧并对结果进行dropna操作。

- BrenBarn

---

你必须小心，因为如果有少于1个项目的组，这将会引发错误。 - Andy Hayden

@BrenBarn 非常感谢！...是的，对于我的问题无法工作，因为存在没有两行的组 :( - Nilani Algiriyage