关于dataframe.query()筛选tips

 更新时间:2024年09月10日 14:45:22   作者:domodo2012  
在Pandas中,通过布尔索引或.query()方法可以实现对DataFrame中数据的筛选。例如,筛选特定列符合条件的行数据或排除某些类型值。此外,.query()方法还支持使用外部变量进行筛选。这些操作对数据处理非常有用,可以高效地进行数据清洗和预处理

1、常规操作

要从一个 dataframe 中,筛选出某些列值符合要求的行数据,

可以用类似以下的语句实现:

df[df[col] == x]

也可以用 .query() 实现:

df.query('col == x')

2、其他操作方法

1)筛选出 col 列中值不是 bool 类型的行

df.query('col not in (True, False)')

2)筛选出 col 列中值为 nan、None 的值

df = pd.DataFrame({"value": [3,4,9,10,11,np.nan,12]})

# 方法1
# 利用 'nan 不等于自身' 的性质,筛选出非 nan、None 的行
df.query('value == value')

# 方法2
# 类似的还有 isnull, notnull,isnan 等
df.query('value.notna()', engine='python')

# 方法3
df.query('value != 'NaN'")

以上结果都是

Out[28]: 
   value
0    3.0
1    4.0
2    9.0
3   10.0
4   11.0
6   12.0

# 筛选出不是 NaT 的行(提前使用外部函数,超纲了哈)
df.query('col not in [@pd.NaT]')

3)在 query 中筛选时引用外部变量

# 1. 外部为普通变量
# 方法1
pi = 3.1415
df.query('value < 10 and value > @pi')

# 方法2
pi = 3.1415
df.query(f'value < 10 and value > {pi}')

# 2.外部变量为 list
cond = [4, 12]
df.query('@cond[0] < value < @cond[1]')

# 3.外部变量为 dict,注意中括号中不能有引号,因此要取 dict 的值,需要用 dict.get() 的方式
cond = {'dn_band': 4, 'up_band': 12}
df.query("@cond.get('dn_band') < value < @cond.get('up_band')")

# 4.外部为函数
num = [2, 6] 
def func(x):
	return x * 2
df.query('@func(@num[0]) < value < @func(@num[1])')

以上的结果都是

Out[30]: 
   value
3   10.0
4   11.0

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python之str操作方法(详解)

    Python之str操作方法(详解)

    下面小编就为大家带来一篇Python之str操作方法(详解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • python 函数内部修改外部变量的方法

    python 函数内部修改外部变量的方法

    今天小编就为大家分享一篇python 函数内部修改外部变量的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • 在python中做正态性检验示例

    在python中做正态性检验示例

    今天小编就为大家分享一篇在python中做正态性检验示例,具有很的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • opencv 查找连通区域 最大面积实例

    opencv 查找连通区域 最大面积实例

    这篇文章主要介绍了opencv 查找连通区域 最大面积实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06
  • Python  Asyncio模块实现的生产消费者模型的方法

    Python Asyncio模块实现的生产消费者模型的方法

    这篇文章主要介绍了Python Asyncio模块实现的生产消费者模型的方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-03-03
  • python如何将绘制的图片保存为矢量图格式(svg)

    python如何将绘制的图片保存为矢量图格式(svg)

    这篇文章主要介绍了python如何将绘制的图片保存为矢量图格式(svg)问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • 解读python中的类型提示(type hint)

    解读python中的类型提示(type hint)

    这篇文章主要介绍了解读python中的类型提示(type hint),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-01-01
  • 创建Django项目图文实例详解

    创建Django项目图文实例详解

    这篇文章主要介绍了创建Django项目,结合图文与实例形式详细分析了Django项目创建的具体步骤与相关操作技巧,需要的朋友可以参考下
    2019-06-06
  • Python3.4学习笔记之 idle 清屏扩展插件用法分析

    Python3.4学习笔记之 idle 清屏扩展插件用法分析

    这篇文章主要介绍了Python3.4 idle 清屏扩展插件用法,简单分析了idle清屏的几种方法及idle清屏插件的相关使用技巧,需要的朋友可以参考下
    2019-03-03
  • pytorch判断是否cuda 判断变量类型方式

    pytorch判断是否cuda 判断变量类型方式

    这篇文章主要介绍了pytorch判断是否cuda 判断变量类型方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-06-06

最新评论