脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Pandas DataFrame.drop_duplicates()删除重复值

Python Pandas中DataFrame.drop_duplicates()删除重复值详解

 更新时间：2022年07月11日 16:10:36   作者：山茶花开时。  
在实际处理数据中,数据预处理操作中,常常需要去除掉重复的数据,这篇文章主要给大家介绍了关于Python Pandas中DataFrame.drop_duplicates()删除重复值的相关资料,需要的朋友可以参考下

语法

df.drop_duplicates(subset = None,
                   keep = 'first', 
                   inplace = False, 
                   ignore_index = False)

参数

1.subset:指定的标签或标签序列，仅删除这些列重复值，默认情况为所有列

2.keep:确定要保留的重复值，有以下可选项:

first:保留第一次出现的重复值，默认

last:保留最后一次出现的重复值

False:删除所有重复值

3.inplace:是否生效

4.ignore_index:如果为True，则重新分配自然索引(0,1,…,n - 1)

# 删除重复值 DataFrame.drop_duplicates()
import pandas as pd
 
df = pd.DataFrame([['x','x',1],['x','x',1],['z','x',2]], columns = ['A','B','C'])
 
# 删除重复行
res1 = df.drop_duplicates()
 
# 删除指定列
res2 = df.drop_duplicates(subset = ['A'])
 
# 保留最后一个
res3 = df.drop_duplicates(subset = ['A'], keep = 'last')

结果展示

df

res1

res2

res3

扩展:识别重复值

import pandas as pd
 
df = pd.DataFrame({
    'studentID':['A001','A002','A003','A004','A005','A006','A006'],
    'score':[100,93,94,96,93,95,95]})
 
# 识别重复值
duplicate_value = df[df.duplicated()]

df

由上图可知studentID为'A006'的记录有两条，我们可以使用duplicated()方法识别重复值，它返回的是布尔值结果(True:有重复值，False:无重复值)

duplicate_value

总结

到此这篇关于Python Pandas中DataFrame.drop_duplicates()删除重复值的文章就介绍到这了,更多相关Pandas DataFrame.drop_duplicates()删除重复值内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 利用python实现对web服务器的目录探测的方法

    利用python实现对web服务器的目录探测的方法

    这篇文章主要介绍了利用python实现对web服务器的目录探测的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2019-02-02
  • pandas如何快速去除列名中的特殊符号

    pandas如何快速去除列名中的特殊符号

    在使用Pandas处理数据时,经常需要处理数据中的列名column name,有时候,列名可能包含特殊字符,比如空格、点号、括号等,这些特殊字符可能会导致下一步的代码出错,因此需要将这些特殊字符从列名中删除,下面先介绍pandas如何去除列名中的特殊符号,感兴趣的朋友一起看看吧
    2024-01-01
  • 基于python分布式爬虫并解决假死的问题

    基于python分布式爬虫并解决假死的问题

    这篇文章主要介绍了基于python分布式爬虫并解决假死的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2021-04-04
  • pymysql模块的操作实例

    pymysql模块的操作实例

    在本篇文章里小编给大家分享的是关于pymysql模块的简单操作，有需要的朋友们可以参考下。
    2019-12-12
  • python把一个字符串切开的实例方法

    python把一个字符串切开的实例方法

    在本篇文章里小编给大家整理的是一篇关于python把一个字符串切开的实例方法，需要的朋友们可以学习参考下。
    2020-09-09
  • Python 用__new__方法实现单例的操作

    Python 用__new__方法实现单例的操作

    这篇文章主要介绍了Python 用__new__方法实现单例的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12
  • pytorch 梯度NAN异常值的解决方案

    pytorch 梯度NAN异常值的解决方案

    这篇文章主要介绍了pytorch 梯度NAN异常值的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2021-06-06
  • 对python pandas读取剪贴板内容的方法详解

    对python pandas读取剪贴板内容的方法详解

    今天小编就为大家分享一篇对python pandas读取剪贴板内容的方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Python NLP开发之实现聊天机器人

    Python NLP开发之实现聊天机器人

    这篇文章主要为大家介绍了Python如何实现聊天机器人，即使用自然语言处理 (NLP) 来帮助用户通过文本、图形或语音与 Web 服务或应用进行交互，感兴趣的可以了解一下
    2023-05-05
  • Python实现简单的列表冒泡排序和反转列表操作示例

    Python实现简单的列表冒泡排序和反转列表操作示例

    这篇文章主要介绍了Python实现简单的列表冒泡排序和反转列表操作,涉及Python列表遍历、排序、追加等相关操作技巧,需要的朋友可以参考下
    2019-07-07

最新评论