Pandas DataFrame的drop_duplicates
方法会考虑所有列(默认)或者一部分列(可选),以删除重复的行,但不考虑重复的索引。
我正在寻找一个干净的一行解决方案,它可以考虑索引和一部分或全部的列,以确定重复的行。例如,考虑以下DataFrame:
df = pd.DataFrame(index=['a', 'b', 'b', 'c'], data={'A': [0, 0, 0, 0], 'B': [1, 0, 0, 0]})
A B
a 0 1
b 0 0
b 0 0
c 0 0
默认情况下使用drop_duplicates
方法会给出
df.drop_duplicates()
A B
a 0 1
b 0 0
如果在确定重复行时也考虑索引,则结果应为:
df.drop_duplicates(consider_index=True) # not a supported keyword argument
A B
a 0 1
b 0 0
c 0 0
有没有一种比我现在的方法更好的方式来实现这个功能:
df['index'] = df.index
df.drop_duplicates(inplace=True)
del df['index']
976 µs ± 5.81 µs 每次循环 (7次运行的平均值±标准差,每次1000次循环)
@Chris A的答案是1.41 ms ± 13.1 µs 每次循环 (7次运行的平均值±标准差,每次1000次循环)
当然,这忽略了可读性,我认为在这方面没有明显的优胜者。 - Russell Burdt