根据两个列A、B，从数据框中删除重复项，并保留具有另一列C最大值的行。

Question

我有一个pandas数据框，其中包含根据两个列（A和B）重复的值：

A B C
1 2 1
1 2 4
2 7 1
3 4 0
3 4 8

我希望删除重复项，保留具有最大C列值的行。这将导致：

A B C
1 2 4
2 7 1
3 4 8

我无法弄清楚如何做到这一点。我应该使用 drop_duplicates()，还是其他方法？

- Elsalex

Answer 1

你可以使用 group by 完成：

c_maxes = df.groupby(['A', 'B']).C.transform(max)
df = df.loc[df.C == c_maxes]

c_maxes是每个组中C的最大值的Series，但其长度和索引与df相同。如果您还没有使用.transform，则打印c_maxes可能是一个好主意，以了解其工作原理。

另一种方法是使用drop_duplicates

df.sort('C').drop_duplicates(subset=['A', 'B'], take_last=True)

我不确定哪种方法更有效，但我猜第一种方法更好，因为它不涉及排序。

编辑：从pandas 0.18开始，第二种解决方案将是

df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')

或者，作为替代方案，

df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'])

无论如何，groupby 解决方案似乎更具有显著性能：

%timeit -n 10 df.loc[df.groupby(['A', 'B']).C.max == df.C]
10 loops, best of 3: 25.7 ms per loop

%timeit -n 10 df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')
10 loops, best of 3: 101 ms per loop

- JoeCondron

---

不要忘记为新数据框（在这种情况下为df）分配值：df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'], inplace=True) - PV8

补充@PV8的评论，表达式中根本不要使用inplace，因为它不会产生预期的结果，仍然需要赋值，因为没有进行任何原地操作。最好明确执行操作以避免意外。 - รยקคгรђשค

不知道你在说什么，但是在这种情况下 inplace 命令可以使用，可以查看 drop_duplicates 的答案 https://dev59.com/g2Ag5IYBdhLWcg3wYaC6 - PV8

take_last=True 不起作用，请按照文档使用 keep='last' 替代：https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.drop_duplicates.html - M H

请查看“编辑”部分的注释。 - JoeCondron

如果你想在这里使用inplace，你需要分两个阶段进行，首先传递给sort_values，然后传递给drop_duplicates，因为当inplace=True时两者都返回None。但是，问题中没有任何提示表明我们要在这里使用inplace，这样做会导致数据丢失。你的代码将返回None，并且也不会影响df，因为.sort_values返回一个视图或副本。 - JoeCondron

Answer 2

你可以通过使用pandas的去重函数来轻松完成这个操作

df.drop_duplicates(['A','B'],keep= 'last')

- Sudharsan

---

我知道这是一个老问题，但如果我有一个具有15列的数据框，并且不想输入所有11/15列，是否有一种方法可以应用df.drop_duplicates，但排除前3列和最后一列？但我的数据框每次大小都会改变（基本上我在使用它以最容易导出到csv的方式存储数据），因此我并不总是知道最后一列的索引。 - nos codemos

你为什么使用keep='last'呢？ - Guy s

Answer 3

我认为groupby应该可以工作。

df.groupby(['A', 'B']).max()['C']

如果您需要返回一个dataframe, 您可以链接reset index调用。

df.groupby(['A', 'B']).max()['C'].reset_index()

- b10n

---

这将返回每个组中C的最大值的Series，由'A'和'B'索引。 - JoeCondron

编辑以包括返回数据框选项 - b10n

你读了问题吗？问题是要删除行，仅保留每个A-B组中'C'值最高的行。你还没有提出任何解决该问题的方案。 - JoeCondron

df.groupby(['A', 'B']).max()['C'].reset_index() 返回了 OP 期望的输出。 - b10n

Answer 4

您可以使用drop_duplicates来实现您想要的功能。

# initialisation
d = pd.DataFrame({'A' : [1,1,2,3,3], 'B' : [2,2,7,4,4],  'C' : [1,4,1,0,8]})

d = d.sort_values("C", ascending=False)
d = d.drop_duplicates(["A","B"])

如果需要保持相同的顺序

d = d.sort_index()

- AlexT