Pandas
的 fillna()
方法在处理缺失数据较多的数据框时速度很慢。
有没有比这更快的方法呢?
(我知道如果简单地删除包含缺失值的行和/或列会有所帮助。)
Pandas
的 fillna()
方法在处理缺失数据较多的数据框时速度很慢。
有没有比这更快的方法呢?
(我知道如果简单地删除包含缺失值的行和/或列会有所帮助。)
我尝试进行测试:
np.random.seed(123)
N = 60000
df = pd.DataFrame(np.random.choice(['a', None], size=(N, 20), p=(.7, .3)))
In [333]: %timeit df.fillna('b')
93.5 ms ± 1.28 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
In [337]: %timeit df[df.isna()] = 'b'
122 ms ± 2.75 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
#pandas below
In [335]: %timeit df.values[df.isna()] = 'b'
56.7 ms ± 799 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
#pandas 0.24+
In [339]: %timeit df.to_numpy()[df.isna()] = 'b'
56.5 ms ± 951 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
df.fillna('b')
和 df[df.isna()] = 'b'
,那么前者更快吗?我以为你是在说相反的情况。无论如何,这对我来说都没问题;我只是想要澄清一下。 - Outcastdf[df.isna()] = 'b'
的答案,它会比 fillna
慢,如果分配给 numpy 数组 df.values[df.isna()] = 'b'
更快。 - jezrael
None
。 - Outcast