Pandas数据框的fillna()方法无效?

6

我有一个数据集,正在进行主成分分析(PCA)。当我尝试转换数据时,出现了ValueError错误消息。以下是一些代码:

import pandas as pd
import numpy as np
import matplotlib as mpl
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA as sklearnPCA

data = pd.read_csv('test.csv',header=0)
X = data.ix[:,0:1000].values   # values of 1000 predictor variables
Y = data.ix[:,1000].values     # values of binary outcome variable
sklearn_pca = sklearnPCA(n_components=2)
X_std = StandardScaler().fit_transform(X)

我在这里遇到了以下错误信息:

ValueError: Input contains NaN, infinity or a value too large for dtype('float64').

那么我接着检查了原始数据集是否有任何NaN值:

print(data.isnull().values.any())   # prints True
data.fillna(0)                      # replace NaN values with 0
print(data.isnull().values.any())   # prints True

我不明白为什么在我用0替换NaN值后,data.isnull().values.any()仍然输出True

2个回答

8
有两种方法可以实现,尝试就地替换:
import pandas as pd

data = pd.DataFrame(data=[0,float('nan'),2,3])   
print('BEFORE:', data.isnull().values.any())   # prints True

# fillna function
data.fillna(0, inplace=True)

print('AFTER:',data.isnull().values.any())   # prints False now :)

或者,使用返回的对象:

data = data.fillna(0)

两种情况的结果如下:

BEFORE: True
AFTER: False

1
第二个对我有用,但第一个不行。我正在使用它来处理浮点数值。你知道为什么吗? - Anurag Sharma
我已经按照 @Jean-Francois Fabre 的方法更新了我的示例代码,你可以看到他们得到了相同的结果。 - Jesse

3

你需要使用fillna返回的对象替换数据。

简洁演示:

import pandas as pd

data = pd.DataFrame(data=[0,float('nan'),2,3])

print(data.isnull().values.any())   # prints True
data = data.fillna(0)                      # replace NaN values with 0
print(data.isnull().values.any())   # prints False now :)

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接