Pandas: 将分类转换为数字

Question

假设我有一个包含国家的数据框，如下：

cc | temp
US | 37.0
CA | 12.0
US | 35.0
AU | 20.0

我知道有一个pd.get_dummies函数可以将国家转换为“one-hot encodings”。然而，我希望将它们转换为索引，以便我可以得到cc_index = [1,2,1,3]。

我假设有比使用get_dummies和numpy where子句更快的方法，如下所示：

[np.where(x) for x in df.cc.get_dummies().values]

在R中使用'factors'会更容易，因此我希望Pandas有类似的东西。

- sachinruk

---

你的意思是 cc_index = [0,1,0,2] 吗？ - juanpa.arrivillaga

当然，忘记了Python的0索引。 - sachinruk

DataFrame 中的分类系列或列可能会有所帮助。 - min2bro

这是 如何在 Pandas 中编码分类值 的副本。 - Trenton McKinney

重复的日期更早一些 将pandas数据框中的分类数据转换 - undefined

Answer 1

首先，更改列的类型：

df.cc = pd.Categorical(df.cc)

现在数据看起来相似，但是它们是按类别存储的。为了捕捉类别代码：

df['code'] = df.cc.codes

现在你有：

   cc  temp  code
0  US  37.0     2
1  CA  12.0     1
2  US  35.0     2
3  AU  20.0     0

如果你不想修改你的DataFrame，只是想获取代码：

df.cc.astype('category').codes

或者将分类列用作索引：

df2 = pd.DataFrame(df.temp)
df2.index = pd.CategoricalIndex(df.cc)

- John Zwinck

---

似乎 df.cc.cat.codes 这个调用方式已经变成了 df.cc.codes，是这样吗？ - Andreas Storvik Strauman

请注意，如果您有缺失值，它们将被编码为-1。如果您想避免处理此情况，则可以先转换为字符串：df.cc.astype('str').astype('category').cat.codes。 - Guy s

似乎将 NaN 转换为 -1？ - ah bon

@John 在生产或测试阶段它是如何工作的？ - dan

如果您也添加了反向方式，将会更有帮助，同时抄送到相应的类别。 - undefined

Answer 2

如果您只希望将系列转换为整数标识符，可以使用 pd.factorize。

请注意，与pd.Categorical不同，此解决方案不会按字母顺序排序。因此，第一个国家将被分配为0。如果您想从1开始，请添加一个常量：

df['code'] = pd.factorize(df['cc'])[0] + 1

print(df)

   cc  temp  code
0  US  37.0     1
1  CA  12.0     2
2  US  35.0     1
3  AU  20.0     3

如果您希望按字母顺序排序，请指定sort=True：

df['code'] = pd.factorize(df['cc'], sort=True)[0] + 1 

- jpp

---

这是否考虑了 NULL 值？ - jgtrz

那么，我们应该使用什么方法呢？是pd.factorize()、astype('category')还是pd.Categorical()？ - skan

Answer 3

如果您正在使用sklearn库，则可以使用LabelEncoder。与pd.Categorical一样，输入的字符串在编码之前按字母顺序排序。

from sklearn.preprocessing import LabelEncoder

LE = LabelEncoder()
df['code'] = LE.fit_transform(df['cc'])

print(df)

   cc  temp  code
0  US  37.0     2
1  CA  12.0     1
2  US  35.0     2
3  AU  20.0     0

- jpp

Answer 4

一行代码:

df[['cc']] = df[['cc']].apply(lambda col:pd.Categorical(col).codes)

如果你有一个list_of_columns，这个方法也同样适用：

df[list_of_columns] = df[list_of_columns].apply(lambda col:pd.Categorical(col).codes)

此外，如果您想保留您的NaN值，您可以应用一个替换:

df[['cc']] = df[['cc']].apply(lambda col:pd.Categorical(col).codes).replace(-1,np.nan)

- Piotro

---

使用pd.factorize()还是pd.Categorical()更好呢？ - skan

Answer 5

尝试将其转换为基于频率的数字（高频率-高数字）：

labels = df[col].value_counts(ascending=True).index.tolist()
codes = range(1,len(labels)+1)
df[col].replace(labels,codes,inplace=True)

- Palepalli Surendra Reddy

Answer 6

将任何列更改为数字。它不会创建新列，而只是用数值数据替换值。

def characters_to_numb(*args):
    for arg in args:
        df[arg] = pd.Categorical(df[arg])
        df[arg] = df[arg].cat.codes
    return df

- Denis Kalyan