具有缺失值的SMOTE

Question

我尝试在Python中使用imblearn包中的SMOTE，但我的数据有很多缺失值，导致出现以下错误：

ValueError: 输入包含 NaN、无穷大或太大的值 dtype('float64')。

我查看了这里的参数，似乎没有处理缺失值的参数。

是否有一种方法可以生成带有缺失值的合成样本呢？

- MJeremy

Answer 1

SMOTE不会填补您的缺失或NaN值。 您需要先填充它们，然后再进行SMOTE分析。 处理缺失值是完全不同的任务，您可以首先查看sklearn中的Imputer。 这是有关sklearn处理缺失值的另一篇文章：Imputing missing values。

一旦您完成了NaN值的处理，就将修改后的数据提供给SMOTE。

参考资料

• 使用Scikit-learn Imputer模块预测缺失值
• 使用Python处理丢失的数据
• 处理缺失值

- Gambit1614

---

Xgboost和lighgbm可以拟合带有缺失值的数据，因此我认为即使存在缺失值，也可能生成一些合成数据。也许不是SMOTE，但我直觉上认为可能有其他方法。感谢您的回答！ - MJeremy

Answer 2

一个简单的例子如下所示：

# Imports
from collections import Counter
import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.preprocessing import Imputer
from imblearn.over_sampling import SMOTE
from imblearn.pipeline import make_pipeline

# Load data
bc = load_breast_cancer()
X, y = bc.data, bc.target

# Initial number of samples per class
print('Number of samples for both classes: {} and {}.'.format(*Counter(y).values()))

# SMOTEd class distribution
print('Dataset has %s missing values.' % np.isnan(X).sum())
_, y_resampled = SMOTE().fit_sample(X, y)
print('Number of samples for both classes: {} and {}.'.format(*Counter(y_resampled).values()))

# Generate artificial missing values
X[X > 1.0] = np.nan
print('Dataset has %s missing values.' % np.isnan(X).sum())
_, y_resampled = make_pipeline(Imputer(), SMOTE()).fit_sample(X, y)
print('Number of samples for both classes: {} and {}.'.format(*Counter(y_resampled).values()))

- user9389968

---

似乎SMOTE无法处理NaN值。 ValueError：输入包含NaN、无穷大或dtype（'float64'）太大的值。 - Anuj Gupta