Pandas筛选DataFrame含有空值的数据行的实现

 更新时间:2022年07月24日 09:49:29   作者:山茶花开时。  
本文主要介绍了Pandas筛选DataFrame含有空值的数据行的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

数据准备

import pandas as pd
 
df = pd.DataFrame([['ABC','Good',1],
                   ['FJZ',None,2],
                   ['FOC','Good',None]
                  ],columns=['Site','Remark','Quantity'])

df

注意:上述Remark字段中的数据类型为字符串str类型,空值取值为'None',Quantity字段中的数据类型为数值型,空值取值为nan 

1.筛选指定单列中有空值的数据行

# 语法
df[pd.isnull(df[col])]
df[df[col].isnull()] 
# 获取Remark字段为None的行
df_isnull_remark = df[df['Remark'].isnull()]
# 获取Quantity字段为None的行
df_isnull_quantity = df[df['Quantity'].isnull()]

df_isnull_remark

df_isnull_quantity

提示

筛选指定单列中没有空值的数据行

# 语法
df[pd.notnull(df[col])]
df[df[col].notnull()] 
# 获取Remark字段为非None的行
df_notnull_remark = df[df['Remark'].notnull()]
# 获取Quantity字段为非None的行
df_notnull_quantity = df[df['Quantity'].notnull()]

df_notnull_remark

df_notnull_quantity 

2.筛选指定多列中/全部列中满足所有列有空值的数据行 

# 语法
df[df[[cols]].isnull().all(axis=1)] 
df[pd.isnull(df[[cols]]).all(axis=1)]

在df基础上增加一行生成df1

df1 = pd.DataFrame([['ABC','Good',1],
                   ['FJZ',None,2],
                   ['FOC','Good',None],
                   [None,None,None]
                  ],columns=['Site','Remark','Quantity'])

# 获取df1所有列有空值的数据行 
all_df_isnull = df1[df1[['Site','Remark','Quantity']].isnull().all(axis=1)]

all_df_isnull

提示

筛选指定多列中/全部列中满足所有列没有空值的数据行 

# 语法
df[df[[cols]].notnull().all(axis=1)] 
df[pd.notnull(df[[cols]]).all(axis=1)]
# 获取df1所有列没有空值的数据行 
all_df_notnull = df1[df1[['Site','Remark','Quantity']].notnull().all(axis=1)]

all_df_notnull

3.筛选指定多列中/全部列中满足任意一列有空值的数据行 

# 语法
df[df[[cols]].isnull().any(axis=1)] 
df[pd.isnull(df[[cols]]).any(axis=1)]

df1(数据源)

# 获取df1所有列中满足任意一列有空值的数据行 
any_df_isnull = df1[df1[['Site','Remark','Quantity']].isnull().any(axis=1)] 

any_df_isnull

提示

筛选指定多列中/全部列中满足任意一列没有空值的数据行

# 语法
df[df[[cols]].notnull().any(axis=1)] 
df[pd.notnull(df[[cols]]).any(axis=1)]
# 获取df1所有列中满足任意一列没有空值的数据行 
any_df_notnull = df1[df1[['Site','Remark','Quantity']].notnull().any(axis=1)]

any_df_notnull

Numpy里边查找NaN值的话,使用np.isnan()

Pabdas里边查找NaN值的话,使用.isna()或.isnull()

import pandas as pd
import numpy as np
 
df = pd.DataFrame({'site1': ['a', 'b', 'c', ''],
                   'site2': ['a', np.nan, '', 'd'],
                   'site3': ['a', 'b', 'c', 'd']})

df

df['contact_site'] = df['site1'] + df['site2'] + df['site3']

新增数据列后的df 

res1 = df[df['site2'].isnull()]
res2 = df[df['site2'].isna()]
res3 = df[df['site2']=='']

res1

res2

res3

注意:res1和res2的结果相同,说明.isna()和.isnull()的作用等效

到此这篇关于Pandas筛选DataFrame含有空值的数据行的实现的文章就介绍到这了,更多相关Pandas筛选DataFrame空值行内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python+selenium+PhantomJS抓取网页动态加载内容

    python+selenium+PhantomJS抓取网页动态加载内容

    一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源,但是设计javascript渲染的页面却不能抓取,此 时,我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面,下面实现一个简单的爬取
    2020-02-02
  • 解决Tkinter中button按钮未按却主动执行command函数的问题

    解决Tkinter中button按钮未按却主动执行command函数的问题

    这篇文章主要介绍了解决Tkinter中button按钮未按却主动执行command函数的问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-05-05
  • Python中threading.Timer()定时器实现定时任务

    Python中threading.Timer()定时器实现定时任务

    本文主要介绍了Python中threading.Timer()定时器实现定时任务,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-01-01
  • django xadmin 管理器常用显示设置方式

    django xadmin 管理器常用显示设置方式

    这篇文章主要介绍了django xadmin 管理器常用显示设置方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-03-03
  • 一文详解Python中的zip函数

    一文详解Python中的zip函数

    在Python中,处理数据时经常需要同时遍历多个序列,zip函数提供了一种简洁的方式来组合这些序列,它用于将多个可迭代对象(如列表、元组等)的元素配对,本文将给大家详细介绍一下Python中的zip函数,需要的朋友可以参考下
    2024-05-05
  • 卡尔曼滤波数据处理技巧通俗理解及python实现

    卡尔曼滤波数据处理技巧通俗理解及python实现

    这篇文章主要为大家介绍了卡尔曼滤波数据处理技巧的通俗理解及python实现,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-05-05
  • python 求某条线上特定x值或y值的点坐标方法

    python 求某条线上特定x值或y值的点坐标方法

    今天小编就为大家分享一篇python 求某条线上特定x值或y值的点坐标方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • python之yield和Generator深入解析

    python之yield和Generator深入解析

    这篇文章主要介绍了python之yield和Generator深入解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-09-09
  • Python3导入自定义模块的三种方法详解

    Python3导入自定义模块的三种方法详解

    这篇文章主要给大家介绍了关于Python3导入自定义模块的三种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2018-04-04
  • 基于Python实现在控制台查看excel的内容

    基于Python实现在控制台查看excel的内容

    这篇文章主要为大家详细介绍了如何基于Python实现在控制台查看excel的内容,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下
    2023-12-12

最新评论