我有一个NumPy数组，其中大部分都是实数，但也有一些nan值。
如何用它所在列的平均值替换nan值？
8个回答
97
不需要循环:
print(a)
[[ 0.93230948 nan 0.47773439 0.76998063]
[ 0.94460779 0.87882456 0.79615838 0.56282885]
[ 0.94272934 0.48615268 0.06196785 nan]
[ 0.64940216 0.74414127 nan nan]]
#Obtain mean of columns as you need, nanmean is convenient.
col_mean = np.nanmean(a, axis=0)
print(col_mean)
[ 0.86726219 0.7030395 0.44528687 0.66640474]
#Find indices that you need to replace
inds = np.where(np.isnan(a))
#Place column means in the indices. Align the arrays using take
a[inds] = np.take(col_mean, inds[1])
print(a)
[[ 0.93230948 0.7030395 0.47773439 0.76998063]
[ 0.94460779 0.87882456 0.79615838 0.56282885]
[ 0.94272934 0.48615268 0.06196785 0.66640474]
[ 0.64940216 0.74414127 0.44528687 0.66640474]]
- Daniel
9
1很好的回答。我不知道nanmean存在！（+1） - Hammer
5为什么您使用"take"而不是直接使用索引？ - Hammer
1@Hammer 他们在numpy 1.8中添加了nanmean，应该很有趣。由于这个问题，我使用take而不是花式索引。有很多证据表明，索引速度比take慢约5倍。此外，这也适用于旧版本。 - Daniel
@Jaime，你能详细解释一下吗？ - Daniel
8现在您可以使用numpy.nanmean()而不是导入scipy：http://docs.scipy.org/doc/numpy-dev/reference/generated/numpy.nanmean.html。 - crypdick
显示剩余4条评论
18
使用屏蔽数组
仅使用Numpy的标准方法是使用 masked array 模块。
Scipy是一个相当重量级的包，依赖于外部库，因此在拥有仅Numpy方法时值得考虑。这借鉴了@DonaldHobson的答案。
编辑：np.nanmean现在是Numpy函数。但是，它不能处理所有NaN列...
假设您有一个数组a：
>>> a
array([[ 0., nan, 10., nan],
[ 1., 6., nan, nan],
[ 2., 7., 12., nan],
[ 3., 8., nan, nan],
[ nan, 9., 14., nan]])
>>> import numpy.ma as ma
>>> np.where(np.isnan(a), ma.array(a, mask=np.isnan(a)).mean(axis=0), a)
array([[ 0. , 7.5, 10. , 0. ],
[ 1. , 6. , 12. , 0. ],
[ 2. , 7. , 12. , 0. ],
[ 3. , 8. , 12. , 0. ],
[ 1.5, 9. , 14. , 0. ]])
需要注意的是，由于我们利用行上的隐式广播，掩码数组的均值不需要与a具有相同的形状。
还要注意如何处理所有NaN列。由于您正在计算零个元素的平均值，因此平均值为零。使用nanmean方法无法处理所有NaN列：
>>> col_mean = np.nanmean(a, axis=0)
/home/praveen/.virtualenvs/numpy3-mkl/lib/python3.4/site-packages/numpy/lib/nanfunctions.py:675: RuntimeWarning: Mean of empty slice
warnings.warn("Mean of empty slice", RuntimeWarning)
>>> inds = np.where(np.isnan(a))
>>> a[inds] = np.take(col_mean, inds[1])
>>> a
array([[ 0. , 7.5, 10. , nan],
[ 1. , 6. , 12. , nan],
[ 2. , 7. , 12. , nan],
[ 3. , 8. , 12. , nan],
[ 1.5, 9. , 14. , nan]])
解释
将 a 转换成掩码数组会得到
>>> ma.array(a, mask=np.isnan(a))
masked_array(data =
[[0.0 -- 10.0 --]
[1.0 6.0 -- --]
[2.0 7.0 12.0 --]
[3.0 8.0 -- --]
[-- 9.0 14.0 --]],
mask =
[[False True False True]
[False False True True]
[False False False True]
[False False True True]
[ True False False True]],
fill_value = 1e+20)
对每一列取平均值可以得到正确的答案，仅对未被掩盖的值进行标准化：
>>> ma.array(a, mask=np.isnan(a)).mean(axis=0)
masked_array(data = [1.5 7.5 12.0 --],
mask = [False False False True],
fill_value = 1e+20)
此外, 注意这个口罩是如何很好地处理全为 NaN 的那一列的！
最后，np.where 用于替换操作。
逐行均值
要用逐行均值替换 nan 值而不是列均值，需要进行微小更改以实现广播：
>>> a
array([[ 0., 1., 2., 3., nan],
[ nan, 6., 7., 8., 9.],
[ 10., nan, 12., nan, 14.],
[ nan, nan, nan, nan, nan]])
>>> np.where(np.isnan(a), ma.array(a, mask=np.isnan(a)).mean(axis=1), a)
ValueError: operands could not be broadcast together with shapes (4,5) (4,) (4,5)
>>> np.where(np.isnan(a), ma.array(a, mask=np.isnan(a)).mean(axis=1)[:, np.newaxis], a)
array([[ 0. , 1. , 2. , 3. , 1.5],
[ 7.5, 6. , 7. , 8. , 9. ],
[ 10. , 12. , 12. , 12. , 14. ],
[ 0. , 0. , 0. , 0. , 0. ]])
- Praveen
2
在所有值都为NaN的列的情况下，使用
np.nan作为平均值并没有什么问题。但这确实是使用掩码数组的一个不错的案例。 - Vlas Sokolov@VlasSokolov 嗯，我认为拥有一个掩码甚至更好。即，将
a转换为掩码数组，并在应用平均值后仍保持掩码状态。然后您就不必担心对其执行操作，这可能会导致nan“扩散”到非nan值。 - Praveen6
如果您的原始数据是“partial”，并且“replace”是一个具有相同形状的数组，其中包含平均值，则此代码将使用部分中存在的值。
Complete= np.where(np.isnan(partial),replace,partial)
- Donald Hobson
2
这是一个比其他任何方案都要干净得多的解决方案。 - naught101
除了需要更多的内存来保存重复的平均值之外，它没有其他要求。 - Benjamin
4
替代方案: 用列的插值替换NaN。
def interpolate_nans(X):
"""Overwrite NaNs with column value interpolations."""
for j in range(X.shape[1]):
mask_j = np.isnan(X[:,j])
X[mask_j,j] = np.interp(np.flatnonzero(mask_j), np.flatnonzero(~mask_j), X[~mask_j,j])
return X
使用示例：
X_incomplete = np.array([[10, 20, 30 ],
[np.nan, 30, np.nan],
[np.nan, np.nan, 50 ],
[40, 50, np.nan ]])
X_complete = interpolate_nans(X_incomplete)
print X_complete
[[10, 20, 30 ],
[20, 30, 40 ],
[30, 40, 50 ],
[40, 50, 50 ]]
我特别使用这段代码来处理时间序列数据，其中列是属性，行是按时间排序的样本。
- Ulf Aslak
2
为了扩展Donald的回答，我提供一个最小化的例子。假设a是一个ndarray，我们想用列的平均值替换它的零值。
In [231]: a
Out[231]:
array([[0, 3, 6],
[2, 0, 0]])
In [232]: col_mean = np.nanmean(a, axis=0)
Out[232]: array([ 1. , 1.5, 3. ])
In [228]: np.where(np.equal(a, 0), col_mean, a)
Out[228]:
array([[ 1. , 3. , 6. ],
[ 2. , 1.5, 3. ]])
- LetsPlayYahtzee
2
这不是很简洁，但我想不到除了迭代之外的其他方法。
#example
a = np.arange(16, dtype = float).reshape(4,4)
a[2,2] = np.nan
a[3,3] = np.nan
indices = np.where(np.isnan(a)) #returns an array of rows and column indices
for row, col in zip(*indices):
a[row,col] = np.mean(a[~np.isnan(a[:,col]), col])
- Hammer
0
使用循环结构的简单函数：
a=[[0.93230948, np.nan, 0.47773439, 0.76998063],
[0.94460779, 0.87882456, 0.79615838, 0.56282885],
[0.94272934, 0.48615268, 0.06196785, np.nan],
[0.64940216, 0.74414127, np.nan, np.nan],
[0.64940216, 0.74414127, np.nan, np.nan]]
print("------- original array -----")
for aa in a:
print(aa)
# GET COLUMN MEANS:
ta = np.array(a).T.tolist() # transpose the array;
col_means = list(map(lambda x: np.nanmean(x), ta)) # get means;
print("column means:", col_means)
# REPLACE NAN ENTRIES WITH COLUMN MEANS:
nrows = len(a); ncols = len(a[0]) # get number of rows & columns;
for r in range(nrows):
for c in range(ncols):
if np.isnan(a[r][c]):
a[r][c] = col_means[c]
print("------- means added -----")
for aa in a:
print(aa)
输出：
------- original array -----
[0.93230948, nan, 0.47773439, 0.76998063]
[0.94460779, 0.87882456, 0.79615838, 0.56282885]
[0.94272934, 0.48615268, 0.06196785, nan]
[0.64940216, 0.74414127, nan, nan]
[0.64940216, 0.74414127, nan, nan]
column means: [0.82369018599999999, 0.71331494500000003, 0.44528687333333333, 0.66640474000000005]
------- means added -----
[0.93230948, 0.71331494500000003, 0.47773439, 0.76998063]
[0.94460779, 0.87882456, 0.79615838, 0.56282885]
[0.94272934, 0.48615268, 0.06196785, 0.66640474000000005]
[0.64940216, 0.74414127, 0.44528687333333333, 0.66640474000000005]
[0.64940216, 0.74414127, 0.44528687333333333, 0.66640474000000005]
for循环也可以用列表推导式来编写：
new_a = [[col_means[c] if np.isnan(a[r][c]) else a[r][c]
for c in range(ncols) ]
for r in range(nrows) ]
- rnso
-3
你可能想尝试这个内置函数：
x = np.array([np.inf, -np.inf, np.nan, -128, 128])
np.nan_to_num(x)
array([ 1.79769313e+308, -1.79769313e+308, 0.00000000e+000,
-1.28000000e+002, 1.28000000e+002])
- ifryed
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接