我正在每个组内选择一行最大值，并使用groupby/agg返回索引值，并使用loc选择行。
例如，按"Id"分组，然后选择具有最高"delta"值的行：
selected_idx = df.groupby("Id").apply(lambda df: df.delta.argmax())
selected_rows = df.loc[selected_idx, :]
我有两个问题要问专家:
[更新]
非常感谢@unutbu的分析！
使用sort_drop！ 在我的i7 / 32GRAM机器上，groupby + idxmax几乎需要14个小时（从未返回任何内容），然而sort_drop在不到一分钟的时间内完成了处理！
我仍然需要查看pandas如何实现每种方法，但暂时解决了问题！我喜欢StackOverflow。
如果有许多（小）组且DataFrame不太大，则使用using_sort_drop可能是最快的选择：
但请记住，尽管using_sort_drop、using_sort和using_rank开始看起来非常快，但随着N = len(df)的增加，它们相对于其他选项的速度很快就会消失。对于足够大的N，即使有许多组，using_idxmax也成为最快的选项。using_sort_drop、using_sort和using_rank对DataFrame（或DataFrame内的分组）进行排序。平均排序时间复杂度为O(N * log(N))，而其他方法使用O(N)操作。这就是为什么像using_idxmax这样的方法在处理非常大的数据集时要比using_sort_drop更快的原因。using_sort_drop可能是值得考虑的选项，尤其是当它有1300万行时。否则，我会怀疑using_idxmax是最快的选项——但再次强调，在自己的机器上检查基准测试非常重要。
以下是我用来制作perfplots的设置：
import numpy as np
import pandas as pd
import perfplot
def make_df(N):
# lots of small groups
df = pd.DataFrame(np.random.randint(N//10+1, size=(N, 2)), columns=['Id','delta'])
# few large groups
# df = pd.DataFrame(np.random.randint(10, size=(N, 2)), columns=['Id','delta'])
return df
def using_idxmax(df):
return df.loc[df.groupby("Id")['delta'].idxmax()]
def max_mask(s):
i = np.asarray(s).argmax()
result = [False]*len(s)
result[i] = True
return result
def using_custom_mask(df):
mask = df.groupby("Id")['delta'].transform(max_mask)
return df.loc[mask]
def using_isin(df):
idx = df.groupby("Id")['delta'].idxmax()
mask = df.index.isin(idx)
return df.loc[mask]
def using_sort(df):
df = df.sort_values(by=['delta'], ascending=False, kind='mergesort')
return df.groupby('Id', as_index=False).first()
def using_rank(df):
mask = (df.groupby('Id')['delta'].rank(method='first', ascending=False) == 1)
return df.loc[mask]
def using_sort_drop(df):
# Thanks to jezrael
# https://dev59.com/kqvka4cB1Zd3GeqPtHCB#50389889?noredirect=1#comment87795818_50389889
return df.sort_values(by=['delta'], ascending=False, kind='mergesort').drop_duplicates('Id')
def using_apply(df):
selected_idx = df.groupby("Id").apply(lambda df: df.delta.argmax())
return df.loc[selected_idx]
def check(df1, df2):
df1 = df1.sort_values(by=['Id','delta'], kind='mergesort').reset_index(drop=True)
df2 = df2.sort_values(by=['Id','delta'], kind='mergesort').reset_index(drop=True)
return df1.equals(df2)
perfplot.show(
setup=make_df,
kernels=[using_idxmax, using_custom_mask, using_isin, using_sort,
using_rank, using_apply, using_sort_drop],
n_range=[2**k for k in range(2, 20)],
logx=True,
logy=True,
xlabel='len(df)',
repeat=75,
equality_check=check)
另一种基准测试方法是使用 IPython %timeit：
In [55]: df = make_df(2**20)
In [56]: %timeit using_sort_drop(df)
1 loop, best of 3: 403 ms per loop
In [57]: %timeit using_rank(df)
1 loop, best of 3: 1.04 s per loop
In [58]: %timeit using_idxmax(df)
1 loop, best of 3: 15.8 s per loop
df = df.sort_values(by=['delta'], ascending=False).drop_duplicates('Id')，可以将其加入计时吗？ - jezraelusing_sort_drop 在 len(df) = 100K 左右具有优势。但如果存在许多小的群组，它在 len(df) around 100M 仍可能是赢家。因此，这在很大程度上取决于您 DataFrame 的性质。最好安装 perfplot 和/或 IPython 并进行一些基准测试。 - unutbufrom numba import njit
import numpy as np
@njit
def nidxmax(bins, k, weights):
out = np.zeros(k, np.int64)
trk = np.zeros(k)
for i, w in enumerate(weights - (weights.min() - 1)):
b = bins[i]
if w > trk[b]:
trk[b] = w
out[b] = i
return np.sort(out)
def with_numba_idxmax(df):
f, u = pd.factorize(df.Id)
return df.iloc[nidxmax(f, len(u), df.delta.values)]
借鉴自@unutbu
def make_df(N):
# lots of small groups
df = pd.DataFrame(np.random.randint(N//10+1, size=(N, 2)), columns=['Id','delta'])
# few large groups
# df = pd.DataFrame(np.random.randint(10, size=(N, 2)), columns=['Id','delta'])
return df
jitwith_numba_idxmax(make_df(10));
df = make_df(2**20)
%timeit with_numba_idxmax(df)
%timeit using_sort_drop(df)
47.4 ms ± 99.8 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
194 ms ± 451 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)