脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → pandas筛选数据

Python数据清洗之利用pandas筛选数据详解

 更新时间：2023年08月24日 09:55:57   作者：sodaloveer  
这篇文章主要介绍了Python数据清洗之利用pandas筛选数据详解,Pandas是一个用于数据分析和处理的Python库,它提供了高效的数据结构和数据分析工具,使得数据的清洗、转换、分析和可视化变得更加容易和灵活,需要的朋友可以参考下

利用pandas筛选数据

在Pandas中，最常用的数据结构是Series和DataFrame。

Series是一维的数组-like对象，用于存储任意类型的数据。

DataFrame是二维的表格型数据结构，可以存储多种类型的数据，并且可以进行灵活的数据操作和分析。

直接筛选

比较运算符(==、<、>、>=、<=、!=)逻辑运算符 &（与）、|（或）、~（非），使用比较运算符时，请将每个条件括在括号内。

运算符的优先级是NOT（〜），AND（＆），OR（|）。

读取数据

import os
import pandas as pd
import numpy as np
#读取文件
def read_file(filepath):
    os.chdir(os.path.dirname(filepath))
    return pd.read_csv(os.path.basename(filepath),encoding='utf-8')
file_pos="C:\\Users\\周晓婷\\Desktop\\train_data_original.csv"
data_pos=read_file(file_pos)

查看数据类型

data_pos.dtypes

在这里插入图片描述

筛选出frand_flag为0的数据

data_pos[data_pos['frand_flag']==0] ##用比较运算符‘=='直接筛选

筛选出frand_flag不为1的数据

data_pos[data_pos['frand_flag']!=1] 
data_pos[~(data_pos['frand_flag']==1)]

筛选cdr_duration>=15的数据

data_pos[data_pos['cdr_duration']>=15] ##用比较运算符“>=”直接筛选

筛选cdr_duration<15的数据

data_pos[data_pos['cdr_duration']<15]

筛选cdr_duration<=15且frand_flag=0的数据

data_pos[(data_pos['cdr_duration']<=15)&(data_pos['frand_flag']==0)]

筛选cdr_duration<=15或cdr_duration>60的数据

data_pos[(data_pos['cdr_duration']<=15)|(data_pos['cdr_duration']>60)]

函数筛选

比较函数(eq, ne, le, lt, ge, gt)

筛选出frand_flag为0的数据

data_pos[data_pos['frand_flag'].eq(0)]

筛选出frand_flag不为1的数据

data_pos[data_pos['frand_flag'].ne(1)]

筛选cdr_duration>=15的数据

data_pos[data_pos['cdr_duration'].ge(15)]

筛选cdr_duration<=15的数据

data_pos[data_pos['cdr_duration'].le(15)]

筛选cdr_duration<=15且frand_flag=0的数据

data_pos[(data_pos['cdr_duration'].le(15))&(data_pos['frand_flag'].eq(0))]

范围运算 between(left,right)

筛选cdr_duration>=15或cdr_duration<=60的数据

data_pos[data_pos['cdr_duration'].between(15,60)]

筛选start_date>=20220701且start_date<=20221031的数据

data_pos[data_pos['start_date'].between(20220701,20221031)]

字符筛选 Series.str.contains(pattern或字符串,na=False)

测试pattern或regex是否包含在Series或Index的字符串中。

Series列要为字符数据类型。

最终返回：布尔值的系列或索引。

布尔值的Series或Index，指示给定模式是否包含在Series或Index的每个元素的字符串中。

函数语法：

Series.str.contains（pat，case = True，flags = 0，na = nan，regex = True)

参数说明如下：

参数描述
patstr类型。字符序列或正则表达式。
casebool，默认为True。如果为True，区分大小写。
flagsint，默认为0（无标志）。标志传递到re模块，例如re.IGNORECASE。
na默认NaN，填写缺失值的值。
regexbool，默认为True。如果为True，则假定pat是正则表达式。如果为False，则将pat视为文字字符串。所以针对特殊符号，默认情况下我们必须使用转义符，或者设置 regex=False。

筛选billing_nbr为移动号码，移动号码用正则表达式

#该列转换为字符数据类型（2种方法）
data_pos['billing_nbr']=data_pos['billing_nbr'].apply(str)
data_pos['billing_nbr']=data_pos['billing_nbr'].values.astype('str')
data_pos=data_pos[data_pos['billing_nbr'].str.contains('^1[35678]\d{9}$')]
print(data_pos.shape)

模糊查询，筛选某列中包含某个字符，比如“筛选start_date为202207的数据”

data_pos['start_date']=data_pos['start_date'].apply(str)
data_pos=data_pos[data_pos['start_date'].str.contains('202207')]
print(data_pos.shape)

筛选channel_type_desc为实体渠道的数据，na=False的意思就是，遇到非字符串的情况，直接忽略。你也可以写na=True，意思就是遇到非字符串的情况，计为筛选有效。如果遇到非字符串没有标明na参数会报错。

data_pos_1=data_pos_1[data_pos_1['channel_type_desc'].str.contains('实体渠道',na=False)]

apply()函数

筛选出frand_flag为0的数据

data_pos[data_pos['frand_flag'].apply(lambda x:x==0)]

截取billing_nbr前7位数

data_pos['billing_nbr']=data_pos['billing_nbr'].apply(str)
data_pos['billing_nbr_pre7']=data_pos['billing_nbr'].apply(lambda x:x[0:8])
data_pos['billing_nbr_pre7']=data_pos['billing_nbr'].map(lambda x:x[0:8])

筛选billing_nbr为移动号码，移动号码用正则表达式

import re
def func(x):
	if re.search('^1[35678]\d{9}$',x):
		return(True)
	else:
		return(False)
data_pos[data_pos['billing_nbr'].apply(func)]

筛选某一列并替换其他字符：筛选channel_type_desc列，将”含有实体渠道的“全部替换”实体渠道”，将“含有电子渠道的”全部替换成“电子渠道”，将“含有直销渠道的”全部替换成“直销渠道”，其他替换为未知。

未修改前，数据详情：

在这里插入图片描述

import re 
def func(data):
    if re.match(r'[\u4e00-\u9fa5]*实体渠道*[\u4e00-\u9fa5]',str(data)):
        return "实体渠道"
    elif re.match(r'[\u4e00-\u9fa5]*电子渠道*[\u4e00-\u9fa5]',str(data)):
        return "电子渠道"
    elif re.match(r'[\u4e00-\u9fa5]*直销渠道*[\u4e00-\u9fa5]',str(data)):
        return "直销渠道"
    else:
        return "未识别"
data_pos_1['channel_type_desc_1']=data_pos_1.channel_type_desc.apply(func)
import re
def func(x):
    if re.search(r'[\u4e00-\u9fa5]*实体渠道*[\u4e00-\u9fa5]',str(x)):
        return "实体渠道"
    elif re.search(r'[\u4e00-\u9fa5]*电子渠道*[\u4e00-\u9fa5]',str(x)):
        return "电子渠道"
    elif re.search(r'[\u4e00-\u9fa5]*直销渠道*[\u4e00-\u9fa5]',str(x)):
        return "直销渠道"
    else:
        return "未识别"
data_pos_1['channel_type_desc_1']=data_pos_1.channel_type_desc.apply(func)

数据替代后，数据详情：

在这里插入图片描述

isin()函数，支持多值筛选，用列表表示

筛选出frand_flag为0的数据

data_pos[data_pos['frand_flag'].isin([0])]

筛选出called_nbr包含10086、10010、10016、114的数据

data_pos[data_pos['called_nbr'].isin([10086,10010,10016,114])]

~isin()

筛选called_nbr不包含10086、10010、10016、114的数据

data_pos[~data_pos['called_nbr'].isin([10086,10010,10016,114])]

到此这篇关于Python数据清洗之利用pandas筛选数据详解的文章就介绍到这了,更多相关pandas筛选数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • python学习Selenium介绍及安装部署详解

    python学习Selenium介绍及安装部署详解

    这篇文章主要为大家介绍了python学习中Selenium介绍以及如何安装部署的详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步
    2021-10-10
  • 浅谈tensorflow 中tf.concat()的使用

    浅谈tensorflow 中tf.concat()的使用

    今天小编就为大家分享一篇浅谈tensorflow 中tf.concat()的使用，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • jupyter %matplotlib inline报错TypeError:print_svg() got an unexpected keyword argument‘orientation‘问题

    jupyter %matplotlib inline报错TypeError:print_svg()&

    在Jupyter Notebook使用matplotlib时出现TypeError错误,一般是由于ipython和matplotlib版本不兼容造成的,通过安装ipympl并将魔法命令替换为%matplotlib ipympl,可以解决这个问题
    2024-09-09
  • 一文带你掌握Pyecharts地理数据可视化的方法

    一文带你掌握Pyecharts地理数据可视化的方法

    这篇文章主要介绍了一文带你掌握Pyecharts地理数据可视化的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-02-02
  • Python实现的FTP通信客户端与服务器端功能示例

    Python实现的FTP通信客户端与服务器端功能示例

    这篇文章主要介绍了Python实现的FTP通信客户端与服务器端功能,涉及Python基于socket的端口监听、文件传输等相关操作技巧,需要的朋友可以参考下
    2018-03-03
  • 详解opencv中画圆circle函数和椭圆ellipse函数

    详解opencv中画圆circle函数和椭圆ellipse函数

    这篇文章主要介绍了opencv中画圆circle函数和椭圆ellipse函数,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
    2019-12-12
  • Python库docopt命令行参数解析工具

    Python库docopt命令行参数解析工具

    这篇文章主要介绍了Python库docopt命令行参数解析工具,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2024-01-01
  • Pytest+Allure使用示例教程

    Pytest+Allure使用示例教程

    Allure是开源的免费的自动化测试报告，支持Java,Python，我们来看看如何使用Python pytest与Allure整合，输出漂亮的测试报告，这篇文章主要介绍了Pytest+Allure使用教程,需要的朋友可以参考下
    2023-12-12
  • 深入学习python的yield和generator

    深入学习python的yield和generator

    这篇文章主要为大家详细介绍了python的yield和generator，针对python的生成器和yield关键字进行深入学习，感兴趣的小伙伴们可以参考一下
    2016-03-03
  • Python用正则表达式实现爬取古诗文网站信息

    Python用正则表达式实现爬取古诗文网站信息

    这篇文章主要给大家介绍了关于Python如何利用正则表达式爬取爬取古诗文网站信息，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-12-12

最新评论