在pandas数据框中显示具有一个或多个NaN值的行

Question

我有一个数据框，其中一些行包含缺失值。

In [31]: df.head()
Out[31]: 
                             alpha1  alpha2    gamma1    gamma2       chi2min  
filename                                                                        
M66_MI_NSRh35d32kpoints.dat  0.8016  0.9283  1.000000  0.074804  3.985599e+01   
F71_sMI_DMRI51d.dat          0.0000  0.0000       NaN  0.000000  1.000000e+25   
F62_sMI_St22d7.dat           1.7210  3.8330  0.237480  0.150000  1.091832e+01   
F41_Car_HOC498d.dat          1.1670  2.8090  0.364190  0.300000  7.966335e+00   
F78_MI_547d.dat              1.8970  5.4590  0.095319  0.100000  2.593468e+01 

我想在屏幕上显示这些行。 如果我尝试df.isnull()，它会给出一个带有True和False的长数据框。是否有办法通过选择这些行并将它们打印在屏幕上呢？

- Peaceful

Answer 1

你可以使用带有参数axis=1的DataFrame.any结合DataFrame.isna和boolean indexing来检查每行中是否至少有一个True。

df1 = df[df.isna().any(axis=1)]

---

d = {'filename': ['M66_MI_NSRh35d32kpoints.dat', 'F71_sMI_DMRI51d.dat', 'F62_sMI_St22d7.dat', 'F41_Car_HOC498d.dat', 'F78_MI_547d.dat'], 'alpha1': [0.8016, 0.0, 1.721, 1.167, 1.897], 'alpha2': [0.9283, 0.0, 3.833, 2.809, 5.459], 'gamma1': [1.0, np.nan, 0.23748000000000002, 0.36419, 0.095319], 'gamma2': [0.074804, 0.0, 0.15, 0.3, np.nan], 'chi2min': [39.855990000000006, 1e+25, 10.91832, 7.966335000000001, 25.93468]}
df = pd.DataFrame(d).set_index('filename')

---

print (df)
                             alpha1  alpha2    gamma1    gamma2       chi2min
filename                                                                     
M66_MI_NSRh35d32kpoints.dat  0.8016  0.9283  1.000000  0.074804  3.985599e+01
F71_sMI_DMRI51d.dat          0.0000  0.0000       NaN  0.000000  1.000000e+25
F62_sMI_St22d7.dat           1.7210  3.8330  0.237480  0.150000  1.091832e+01
F41_Car_HOC498d.dat          1.1670  2.8090  0.364190  0.300000  7.966335e+00
F78_MI_547d.dat              1.8970  5.4590  0.095319       NaN  2.593468e+01

说明:

print (df.isna())
                            alpha1 alpha2 gamma1 gamma2 chi2min
filename                                                       
M66_MI_NSRh35d32kpoints.dat  False  False  False  False   False
F71_sMI_DMRI51d.dat          False  False   True  False   False
F62_sMI_St22d7.dat           False  False  False  False   False
F41_Car_HOC498d.dat          False  False  False  False   False
F78_MI_547d.dat              False  False  False   True   False

print (df.isna().any(axis=1))
filename
M66_MI_NSRh35d32kpoints.dat    False
F71_sMI_DMRI51d.dat             True
F62_sMI_St22d7.dat             False
F41_Car_HOC498d.dat            False
F78_MI_547d.dat                 True
dtype: bool

df1 = df[df.isna().any(axis=1)]
print (df1)
                     alpha1  alpha2    gamma1  gamma2       chi2min
filename                                                           
F71_sMI_DMRI51d.dat   0.000   0.000       NaN     0.0  1.000000e+25
F78_MI_547d.dat       1.897   5.459  0.095319     NaN  2.593468e+01

- jezrael

---

轴：{0或“index”，1或“columns”}，或元组/列表 传递元组或列表以在多个轴上删除 - nu everest

假设您只想对某些列应用 isnull() 函数怎么办？ - Gathide

df[df['gamma1','gamma2'].isna().any(axis=1)] 或者对于一个列，它是 df[df['gamma1'].isna()]。无论我们是在整个数据框中检查空值还是在几列中检查，思路都是相同的。应用 isna() 后，我们得到布尔系列，用于布尔索引。 - Jchenna

重要提示：如果您尝试仅访问具有NaN值的行（而不想访问包含null但不是NaN的行），则这不起作用 - isna()将检索两者。当您的数据框由数字以及其他对象类型（如字符串）组成时，特别适用。 - bsplosion

Answer 2

使用 df[df.isnull().any(axis=1)] 适用于 Python 3.6 及以上版本。

- Prateek Nagaria

Answer 3

df.isna().any() 返回包含NaN值的列的状态。因此，更好的观察和分析NaN值的方法是:

df.loc[:, df.isna().any()]

示例

- Mrutyunjay Biswal

Answer 4

假设gamma1和gamma2是两个列，其中df.isnull().any()返回True，以下代码可用于打印这些行。

bool1 = pd.isnull(df['gamma1'])
bool2 = pd.isnull(df['gamma2'])
df[bool1]
df[bool2]

- user9194161

---

我也喜欢 pd.isna(df['gamma1'])。 - Sean McCarthy

Answer 5

也可以尝试这个，与之前的答案几乎相似。

    d = {'filename': ['M66_MI_NSRh35d32kpoints.dat', 'F71_sMI_DMRI51d.dat', 'F62_sMI_St22d7.dat', 'F41_Car_HOC498d.dat', 'F78_MI_547d.dat'], 'alpha1': [0.8016, 0.0, 1.721, 1.167, 1.897], 'alpha2': [0.9283, 0.0, 3.833, 2.809, 5.459], 'gamma1': [1.0, np.nan, 0.23748000000000002, 0.36419, 0.095319], 'gamma2': [0.074804, 0.0, 0.15, 0.3, np.nan], 'chi2min': [39.855990000000006, 1e+25, 10.91832, 7.966335000000001, 25.93468]}
    df = pd.DataFrame(d).set_index('filename')

Count of null values in each column.

df.isnull().sum()

df.isnull().any(axis=1)

- abdul