如何在pandas DataFrame中按连续值进行分组

Question

我在一个DataFrame中有一列带有值：

[1, 1, -1, 1, -1, -1]

我该如何像这样分组它们？

[1,1] [-1] [1] [-1, -1]

- Bryan Fok

---

df = pd.DataFrame({'a': [1, 1, -1, 1, -1, -1, -1, 1, 1, 1, -1]}) 是一个更好的测试案例，可以确保我们捕获所有的组，而不仅仅是长度为二的组。 - smci

Answer 1

你可以通过自定义的Series使用groupby：

df = pd.DataFrame({'a': [1, 1, -1, 1, -1, -1]})
print(df)
   a
0  1
1  1
2 -1
3  1
4 -1
5 -1

print(df['a'].ne(df['a'].shift()).cumsum())
0    1
1    1
2    2
3    3
4    4
5    4
Name: a, dtype: int32

for i, g in df.groupby(df['a'].ne(df['a'].shift()).cumsum()):
    print(i)
    print(g)
    print(g.a.tolist())

1
   a
0  1
1  1
[1, 1]
2
   a
2 -1
[-1]
3
   a
3  1
[1]
4
   a
4 -1
5 -1
[-1, -1]

- jezrael

---

如果您想使用此解决方案来.groupby()连续的日期，间隔为1小时，请将条件更改为df['date'].diff() != pd.Timedelta('1 hour')。 - Eran H.

https://github.com/pandas-dev/pandas/issues/5494 要求 itertools.groupby() 具有相同的行为，但是目前还没有行动，欢迎贡献，截至2018年7月6日。 - XoXo

除了使用 ==，实际上还有一个矢量化的 .ne() 函数：df.a.ne(df.a.shift())。该函数可以用来比较数据框列中相邻的元素是否不等。 - smci

Answer 2

使用来自Jez的itertools中的groupby函数。

from itertools import groupby
[ list(group) for key, group in groupby(df.a.values.tolist())]
Out[361]: [[1, 1], [-1], [1], [-1, -1]]

- BENY

---

这个答案比被接受的cumsum()解决方案更明确。 - XoXo

groupby() 的操作类似于 Unix 中的 uniq 过滤器。它会在键函数的值发生变化时生成一个新的分组或断点。 - XoXo

虽然这是对问题的字面回答，但它失去了连续值组的常用标记。 - Rich Andrews

Answer 3

Series.diff 是标记组边界的另一种方法（a!=a.shift 意味着 a.diff!=0）：

consecutives = df['a'].diff().ne(0).cumsum()

# 0    1
# 1    1
# 2    2
# 3    3
# 4    4
# 5    4
# Name: a, dtype: int64

要将这些组转换为一系列列表（请参阅其他答案的列表），可以使用 groupby.agg 或 groupby.apply 进行聚合:

df['a'].groupby(consecutives).agg(list)

# a
# 1      [1, 1]
# 2        [-1]
# 3         [1]
# 4    [-1, -1]
# Name: a, dtype: object

- tdy

Answer 4

如果你正在处理字符串值：

s = pd.DataFrame(['A','A','A','BB','BB','CC','A','A','BB'], columns=['a'])
string_groups = sum([['%s_%s' % (i,n) for i in g] for n,(k,g) in enumerate(itertools.groupby(s.a))],[])

>>> string_groups 
['A_0', 'A_0', 'A_0', 'BB_1', 'BB_1', 'CC_2', 'A_3', 'A_3', 'BB_4']

grouped = s.groupby(string_groups, sort=False).agg(list)
grouped.index = grouped.index.str.split('_').str[0]

>>> grouped
            a
A   [A, A, A]
BB   [BB, BB]
CC       [CC]
A      [A, A]
BB       [BB]

作为一个独立的函数：

def groupby_consec(df, col):
    string_groups = sum([['%s_%s' % (i, n) for i in g]
                         for n, (k, g) in enumerate(itertools.groupby(df[col]))], [])
    return df.groupby(string_groups, sort=False)

- hellpanderr