如何为单个Series计算直方图(频率表)?

116

我该如何为单个Series生成频率表(或直方图)?例如,如果我有my_series = pandas.Series([1,2,2,3,3,3]),那么如何获得类似于{1: 1, 2: 2, 3: 3}的结果-即每个值出现的次数计数在 Series中?

4个回答

172
也许是.value_counts()
>>> import pandas
>>> my_series = pandas.Series([1,2,2,3,3,3, "fred", 1.8, 1.8])
>>> my_series
0       1
1       2
2       2
3       3
4       3
5       3
6    fred
7     1.8
8     1.8
>>> counts = my_series.value_counts()
>>> counts
3       3
2       2
1.8     2
fred    1
1       1
>>> len(counts)
5
>>> sum(counts)
9
>>> counts["fred"]
1
>>> dict(counts)
{1.8: 2, 2: 2, 3: 3, 1: 1, 'fred': 1}

6
.value_counts().sort_index(1)将数据按照第一列的顺序进行排序,避免第一列数据的顺序可能会略微失调。 - smci
10
除了Series之外,是否有与DataFrame等同的对象?我尝试在一个DataFrame上运行.value_counts()方法但却出现了"AttributeError: 'DataFrame' object has no attribute 'value_counts'"错误提示。 - Mittenchops
2
有没有一种简单的方法将这些计数转换为比例? - dsaxton
8
你可以使用.value_counts(normalize=True)将结果转换为比例。 - Max Power
3
要在数据框上使用它,需要将其转换为等效的一维numpy数组表示形式,例如 - pd.value_counts(df.values.ravel()),它返回一个系列,其indexvalues属性分别包含唯一元素及其计数。 - Nickil Maveli
显示剩余4条评论

12
你可以在数据框上使用列表推导式来计算列的频率,如下所示。
[my_series[c].value_counts() for c in list(my_series.select_dtypes(include=['O']).columns)]

故障分析:

my_series.select_dtypes(include=['O']) 

选择仅为分类数据

list(my_series.select_dtypes(include=['O']).columns) 
将上面的列转换为列表。
[my_series[c].value_counts() for c in list(my_series.select_dtypes(include=['O']).columns)] 

遍历上面的列表,对每一列应用value_counts()


9
@DSM提供的答案简单明了,但我想为这个问题添加我的观点。如果您查看pandas.value_counts的代码,您会发现有很多内容。
如果您需要计算许多系列的频率,这可能需要一段时间。更快的实现方法是使用numpy.uniquereturn_counts = True 这是一个例子:
import pandas as pd
import numpy as np

my_series = pd.Series([1,2,2,3,3,3])

print(my_series.value_counts())
3    3
2    2
1    1
dtype: int64

注意这里返回的是一个 pandas.Series。
相比之下,numpy.unique 返回一个包含两个元素的元组,分别为唯一值和计数。
vals, counts = np.unique(my_series, return_counts=True)
print(vals, counts)
[1 2 3] [1 2 3]

您可以将它们组合成一个字典:
results = dict(zip(vals, counts))
print(results)
{1: 1, 2: 2, 3: 3}

然后转换为 pandas.Series

print(pd.Series(results))
1    1
2    2
3    3
dtype: int64

2

对于具有过多值的变量频率分布,您可以将值合并到类中。

在这里,我针对employrate变量的过多值进行了处理,直接使用values_count(normalize=True)无法获得其频率分布的含义。

                country  employrate alcconsumption
0           Afghanistan   55.700001            .03
1               Albania   11.000000           7.29
2               Algeria   11.000000            .69
3               Andorra         nan          10.17
4                Angola   75.699997           5.57
..                  ...         ...            ...
208             Vietnam   71.000000           3.91
209  West Bank and Gaza   32.000000               
210         Yemen, Rep.   39.000000             .2
211              Zambia   61.000000           3.56
212            Zimbabwe   66.800003           4.96

[213 rows x 3 columns]

使用values_count(normalize=True)进行频率分布,没有分类,结果长度为139(作为频率分布似乎没有意义):

print(gm["employrate"].value_counts(sort=False,normalize=True))

50.500000   0.005618
61.500000   0.016854
46.000000   0.011236
64.500000   0.005618
63.500000   0.005618

58.599998   0.005618
63.799999   0.011236
63.200001   0.005618
65.599998   0.005618
68.300003   0.005618
Name: employrate, Length: 139, dtype: float64

将分类应用于所有具有特定范围的值,例如:

0-10作为1,
11-20作为2,
21-30作为3,以此类推。
gm["employrate"]=gm["employrate"].str.strip().dropna()  
gm["employrate"]=pd.to_numeric(gm["employrate"])
gm['employrate'] = np.where(
   (gm['employrate'] <=10) & (gm['employrate'] > 0) , 1, gm['employrate']
   )
gm['employrate'] = np.where(
   (gm['employrate'] <=20) & (gm['employrate'] > 10) , 1, gm['employrate']
   )
gm['employrate'] = np.where(
   (gm['employrate'] <=30) & (gm['employrate'] > 20) , 2, gm['employrate']
   )
gm['employrate'] = np.where(
   (gm['employrate'] <=40) & (gm['employrate'] > 30) , 3, gm['employrate']
   )
gm['employrate'] = np.where(
   (gm['employrate'] <=50) & (gm['employrate'] > 40) , 4, gm['employrate']
   )
gm['employrate'] = np.where(
   (gm['employrate'] <=60) & (gm['employrate'] > 50) , 5, gm['employrate']
   )
gm['employrate'] = np.where(
   (gm['employrate'] <=70) & (gm['employrate'] > 60) , 6, gm['employrate']
   )
gm['employrate'] = np.where(
   (gm['employrate'] <=80) & (gm['employrate'] > 70) , 7, gm['employrate']
   )
gm['employrate'] = np.where(
   (gm['employrate'] <=90) & (gm['employrate'] > 80) , 8, gm['employrate']
   )
gm['employrate'] = np.where(
   (gm['employrate'] <=100) & (gm['employrate'] > 90) , 9, gm['employrate']
   )
print(gm["employrate"].value_counts(sort=False,normalize=True))

分类后,我们有了清晰的频率分布。 在这里,我们可以轻松地看到,37.64%的国家就业率在51-60%之间, 而11.79%的国家就业率在71-80%之间。

5.000000   0.376404
7.000000   0.117978
4.000000   0.179775
6.000000   0.264045
8.000000   0.033708
3.000000   0.028090
Name: employrate, dtype: float64

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接