使用一位有效编码进行逻辑回归

Question

使用一位有效编码进行逻辑回归

pythonpandasmachine-learningregressionone-hot-encoding

7

我有一个数据框（data），它的头部如下所示：

          status      datetime    country    amount    city  
601766  received  1.453916e+09    France       4.5     Paris
669244  received  1.454109e+09    Italy        6.9     Naples

我希望能够根据日期时间，国家，金额和城市来预测状态

由于状态，国家，城市都是字符串，所以我对它们进行了独热编码：

one_hot = pd.get_dummies(data['country'])
data = data.drop(item, axis=1) # Drop the column as it is now one_hot_encoded
data = data.join(one_hot)

接下来，我创建了一个简单的LinearRegression模型并拟合了我的数据：

y_data = data['status']
classifier = LinearRegression(n_jobs = -1)
X_train, X_test, y_train, y_test = train_test_split(data, y_data, test_size=0.2)
columns = X_train.columns.tolist()
classifier.fit(X_train[columns], y_train)

但我收到了以下错误信息:

“无法将字符串转换为浮点数：'received'”

我有一种错过了什么的感觉，希望能得到一些如何继续的建议。感谢您读到这里！

- Mornor

尝试使用y_data = data['status'] == 'received'，我相信LinearRegression在这里期望一个数值/布尔变量。 - m-dz

3个回答

2

备选方案（因为您应该真正避免使用LabelEncoder在特征上）。 ColumnTransformer和OneHotEncoder可以对数据框中的特征进行一位有效编码：

ct = ColumnTransformer(
    transformers=[
        ("ohe", OneHotEncoder(sparse_output=False), ["country", "city"]),
    ],
    remainder="passthrough",
).set_output(transform="pandas")

print(ct.fit_transform(X))

   ohe__country_France  ohe__country_Italy  ohe__city_Naples  ohe__city_Paris  remainder__datetime  remainder__amount
0                  1.0                 0.0               0.0              1.0               1.4539                4.5
1                  0.0                 1.0               1.0              0.0               1.4541                6.9
2                  1.0                 0.0               0.0              1.0               1.4561                5.0

完整的管道，包含逻辑回归：

import pandas as pd
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
from sklearn.pipeline import make_pipeline
from sklearn.linear_model import LogisticRegression

raw_data = pd.DataFrame([["received", 1.4539, "France", 4.5, "Paris"], ["received", 1.4541, "Italy", 6.9, "Naples"], ["not-received", 1.4561, "France", 5.0, "Paris"]], columns=["status", "datetime", "country", "amount", "city"])

# X features include all variables except 'status', y label is 'status':
X = raw_data.drop(["status"], axis=1)
y = raw_data["status"]

# Create a pipeline with OHE for "country" and "city", then fits Logistic Regression:
pipe = make_pipeline(
    ColumnTransformer(
        transformers=[
            ("one-hot-encode", OneHotEncoder(), ["country", "city"]),
        ],
        remainder="passthrough",
    ),
    LogisticRegression(),
)

pipe.fit(X, y)

- Alexander L. Hayes

1

在scikit-learn项目中进行一次独热编码，您可能会发现使用scikit-learn-contrib项目category_encoders更加简洁：https://github.com/scikit-learn-contrib/categorical-encoding，其中包括许多常见的分类变量编码方法，包括独热编码。

- Will McGinnis

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- MaxU - stand with Ukraine · Accepted Answer

考虑以下方法：

首先，让我们对所有非数字列进行一次独热编码：

In [220]: from sklearn.preprocessing import LabelEncoder

In [221]: x = df.select_dtypes(exclude=['number']) \
                .apply(LabelEncoder().fit_transform) \
                .join(df.select_dtypes(include=['number']))

In [228]: x
Out[228]:
        status  country  city      datetime  amount
601766       0        0     1  1.453916e+09     4.5
669244       0        1     0  1.454109e+09     6.9

现在我们可以使用LinearRegression分类器：

In [230]: classifier.fit(x.drop('status',1), x['status'])
Out[230]: LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)