pandas中的数据去重处理的实现方法
更新时间：2020年02月10日 10:35:05 作者：我是小蚂蚁
这篇文章主要介绍了pandas中的数据去重处理的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
数据去重可以使用duplicated()和drop_duplicates()两个方法。
DataFrame.duplicated（subset = None，keep =‘first' ）返回boolean Series表示重复行
参数：
subset：列标签或标签序列，可选
仅考虑用于标识重复项的某些列，默认情况下使用所有列
keep：{‘first'，‘last'，False}，默认'first'
- first：标记重复，True除了第一次出现。
- last：标记重复，True除了最后一次出现。
- 错误：将所有重复项标记为True。
import numpy as np
import pandas as pd
from pandas import Series, DataFrame
df = pd.read_csv('./demo_duplicate.csv')
print(df)
print(df['Seqno'].unique()) # [0. 1.]
# 使用duplicated 查看 重复值
# 参数 keep 可以标记重复值 {'first'，'last'，False}
print(df['Seqno'].duplicated())
'''
0 False
1 True
2 True
3 True
4 False
Name: Seqno, dtype: bool
'''
# 删除 series 重复数据
print(df['Seqno'].drop_duplicates())
'''
0 0.0
4 1.0
Name: Seqno, dtype: float64
'''
# 删除 dataframe 重复数据
print(df.drop_duplicates(['Seqno'])) # 按照 Seqno 来 去重
'''
Price Seqno Symbol time
0 1623.0 0.0 APPL 1473411962
4 1649.0 1.0 APPL 1473411963
'''
# drop_dujplicates() 第二个参数 keep 包含的值 有： first、last、False
print(df.drop_duplicates(['Seqno'], keep='last')) # 保存最后一个
'''
Price Seqno Symbol time
3 1623.0 0.0 APPL 1473411963
4 1649.0 1.0 APPL 1473411963
'''
pandas 去除重复行
DataFrame.drop_duplicates（subset = None，keep ='first'，inplace = False ）
subset ： 指定列，默认情况下使用所有列
keep ： {'first'，'last'，False}，默认'first'
first ：删除重复项保留第一次出现的。last ：删除重复项保留最后一次出现的。false：删除所有重复项。
inplace ： 布尔值，默认为False 是否删除重复项或返回副本
栗子：
到此这篇关于pandas中的数据去重处理的实现方法的文章就介绍到这了,更多相关Pandas 数据去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Python使用百度翻译开发平台实现英文翻译为中文功能,结合实例形式分析了Python使用request请求与百度翻译API接口交互实现翻译功能相关操作技巧,需要的朋友可以参考下2019-08-08
这篇文章主要介绍了Python深入学习之对象的属性,本文从较深的层次讲解对象属性的内部运行方式,需要的朋友可以参考下2014-08-08
大家好，本篇文章主要讲的是python爬取气象台每日天气图代码，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2022-01-01
这篇文章主要介绍了Python爬虫爬取ts碎片视频+验证码登录功能,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-02-02
Python 3最重要的新特性之一是对字符串和二进制数据流做了明确的区分。这篇文章主要介绍了Python3中bytes类型转换为str类型的相关知识，需要的朋友可以参考下2018-09-09
这篇文章主要为大家详细介绍了Python实现功能全面的学生管理系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-05-05
本篇文章主要介绍了Python中Django发送带图片和附件的邮件 ，非常具有实用价值，需要的朋友可以参考下。2017-03-03
这篇文章主要介绍了Django单元测试中Fixtures用法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
这篇文章主要介绍了在python list中筛选包含字符的字段方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
python DataFrame中stack()方法、unstack()方法和pivot()方法浅析
这篇文章主要给大家介绍了关于python DataFrame中stack()方法、unstack()方法和pivot()方法的相关资料,pandas中这三种方法都是用来对表格进行重排的,其中stack()是unstack()的逆操作,需要的朋友可以参考下2022-04-04
最新评论