pandas数据帧获取不同值计数的最有效方法是什么？

Question

我有一个如下所示的数据框。

    0   1   2
0   A   B   C
1   B   C   B
2   B   D   E
3   C   E   E
4   B   F   A

我需要获取整个数据框中的唯一值计数，而不是按列计算唯一值。 在上述数据框中，唯一值为A、B、C、D、E、F。 因此，我需要的结果是6。

我使用pandas squeeze、ravel和nunique函数来实现这一点，它将整个数据框转换为一个系列。

pd.Series(df.squeeze().values.ravel()).nunique(dropna=True)

请告诉我是否有更好的方法来实现这个。

- ds_Abc

---

len(np.unique(df)) - sammywemmy

Answer 1

使用 NumPy 来实现，如下所示：

import numpy as np
print(np.unique(df.values).shape[0])

- Rahul Vishwakarma

Answer 2

使用 numpy.unique 函数并指定唯一值的 length ：

out = len(np.unique(df))
6

- jezrael

Answer 3

您可以使用set、len和flatten：

len(set(df.values.flatten()))

输出：

6

---

时间：使用一个包含6个唯一值的虚拟数据帧

#dummy data
df = pd.DataFrame({'Day':np.random.choice(['aa','bbbb','c','ddddd','EeeeE','xxx'], 10**6),'Heloo':np.random.choice(['aa','bbbb','c','ddddd','EeeeE','xxx'], 10**6)})


print(df.shape)
(1000000, 2)


%timeit len(set(df.values.flatten()))

>>>89.5 ms ± 1.56 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)


%timeit np.unique(df.values).shape[0]

>>>1.61 s ± 25.6 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)


%timeit len(np.unique(df))

>>>1.85 s ± 229 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

- MrNobody33