我希望根据每行最大的3个值,用列标签替换这些值。假设有以下输入:
p1 p2 p3 p4
0 0 9 1 4
1 0 2 3 4
2 1 3 10 7
3 1 5 3 1
4 2 3 7 10
假设 n = 3
,我正在寻找:
Top1 Top2 Top3
0 p2 p4 p3
1 p4 p3 p2
2 p3 p4 p2
3 p2 p3 p1
4 p4 p3 p2
我不担心重复,例如对于索引3
,Top3
可以是'p1'
或者'p4'
。
尝试1
我的第一次尝试是使用np.ndarray.argsort
进行完整排序:
res = pd.DataFrame(df.columns[df.values.argsort(1)]).iloc[:, len(df.index): 0: -1]
但实际上我有超过4列,这样做效率会很低。
尝试2
接下来我尝试使用np.argpartition
。但由于每个分区内的值没有排序,这需要进行后续排序:
n = 3
parts = np.argpartition(-df.values, n, axis=1)[:, :-1]
args = (-df.values[np.arange(df.shape[0])[:, None], parts]).argsort(1)
res = pd.DataFrame(df.columns[parts[np.arange(df.shape[0])[:, None], args]],
columns=[f'Top{i}' for i in range(1, n+1)])
实际上,对于较大的数据框,这种方法比第一种尝试要慢。是否有更有效利用部分排序的方法?您可以使用以下代码进行基准测试。
基准测试
# Python 3.6.0, NumPy 1.11.3, Pandas 0.19.2
import pandas as pd, numpy as np
df = pd.DataFrame({'p1': [0, 0, 1, 1, 2],
'p2': [9, 2, 3, 5, 3],
'p3': [1, 3, 10, 3, 7],
'p4': [4, 4, 7, 1, 10]})
def full_sort(df):
return pd.DataFrame(df.columns[df.values.argsort(1)]).iloc[:, len(df.index): 0: -1]
def partial_sort(df):
n = 3
parts = np.argpartition(-df.values, n, axis=1)[:, :-1]
args = (-df.values[np.arange(df.shape[0])[:, None], parts]).argsort(1)
return pd.DataFrame(df.columns[parts[np.arange(df.shape[0])[:, None], args]])
df = pd.concat([df]*10**5)
%timeit full_sort(df) # 86.3 ms per loop
%timeit partial_sort(df) # 158 ms per loop
np.argpartition
?)可以帮助解决这个问题。也许它不存在。 - jppfull_sort
也能更快地完成。似乎2倍的性能差异随着列数的增加而持续存在。 - jpp