利用pandas进行数据清洗的7种方式
更新时间：2024年03月25日 08:50:28 作者：菜鸟学Python数据分析
采集到原始的数据中会存在一些噪点数据,噪点数据是对分析无意义或者对分析起到偏执作用的数据,所以这篇文章给大家介绍了利用pandas进行数据清洗的7种方式,需要的朋友可以参考下
1.处理数据中的空值
我们在处理真实的数据时，往往会有很多缺少的的特征数据，就是所谓的空值，必须要进行处理才能进行下一步分析
空值的处理方式有很多种，一般是删除或者填充
Excel通过“查找和替换”功能实现空值的统一替换：
通过“定位”删除空值：
pandas处理空值的方式比较灵活，可以使用dropna函数删除空值
import pandas as pd
data=pd.read_csv('成绩表.csv',encoding='gbk')
data.dropna(how='any')
用fillna函数实现空值的填充
①使用数字0填充数据表中的空值
data.fillna(value=0)
②使用平均值填充数据表中的空值
data['语文'].fillna(data['语文'].mean())
2.删除空格
excel中清理空格很简单，直接替换即可
pandas删除空格也很方便，主要使用map函数
data['姓名']=data['姓名'].map(str.strip) data
3.大小写转换
excel中大小写转换函数分别为upper()和lower()
pandas中转换函数也为upper()和lower()
data['拼音']=data['拼音'].str.upper() data
data['拼音']=data['拼音'].str.lower() data
4.更改数据格式
excel中更改数据格式通过快捷键“ctrl+1”打开“设置单元格格式”：
pandas使用astype来修改数据格式，以将“语文”列改成整数为例
data['语文'].dropna(how='any').astype('int')
5.更改列名称
excel中更改列名称就不说了，大家都会
pandas使用rename函数更改列名称，代码如下：
data.rename(columns={'语文':'语文成绩'})
6.删除重复值
excel的功能区“数据”下有“删除重复项”，可以用来删除表中的重复值，默认保留最第一个重复值，把后面的删除：
pandas使用drop_duplicates函数删除重复值：
data['数学'].drop_duplicates() #默认删除后面的重复值
data['数学'].drop_duplicates(keep='last') #删除第一项重复值
7.修改及替换数据
excel中使用“查找和替换”功能实现数值的替换
pandas中使用replace函数实现数据替换
data['姓名'].replace('成 功','失 败')到此这篇关于利用pandas进行数据清洗的7种方式的文章就介绍到这了,更多相关pandas数据清洗内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了django 模版关闭转义方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
在网络爬虫的世界中,数据提取是至关重要的一环,Python 提供了许多强大的工具,其中之一就是 parsel 库,下面我们就来深入学习一下Parsel的两种数据提取方式吧2023-12-12
Python Numpy 控制台完全输出ndarray的实现
这篇文章主要介绍了Python Numpy 控制台完全输出ndarray的实现方式，希望给大家做个参考，一起跟随小编过来看看吧2020-02-02
这篇文章主要介绍了Python中的异常处理简明介绍,本文讲解了try-except检测异常、上下文管理器(with…as…语句)、raise引发异常、断言等内容,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了jupyter note 实现将数据保存为word，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
Python MySQLdb 使用utf-8 编码插入中文数据问题
这篇文章主要介绍了Python MySQLdb 使用utf-8 编码插入中文数据问题,需要的朋友可以参考下2018-03-03
这篇文章主要介绍了Python星号*与**用法,结合实例形式较为详细的分析了Python中的星号*与**在函数参数及数值运算中的相关使用技巧,需要的朋友可以参考下2018-02-02
这篇文章主要给大家介绍了关于python读取文件由于编码问题失败汇总以及解决办法的相关资料,文件编码错误指的是在Python读取文件的过程中出现的编码不匹配的问题,需要的朋友可以参考下2023-10-10
这篇文章主要介绍了pytorch中交叉熵损失函数的使用细节，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-02-02
这篇文章主要介绍了python文件操作,实例分析了Python中返回一个返回值与多个返回值的方法,需要的朋友可以参考下2021-10-10
最新评论