pandas DataFrame 删除重复的行的实现方法
更新时间：2019年01月29日 11:05:04 作者：qq_40981268
这篇文章主要介绍了pandas DataFrame 删除重复的行的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
1. 建立一个DataFrame
C=pd.DataFrame({'a':['dog']*3+['fish']*3+['dog'],'b':[10,10,12,12,14,14,10]})
2. 判断是否有重复项
用duplicated（ ）函数判断
C.duplicated()
3. 有重复项，则可以用drop_duplicates()移除重复项
C.drop_duplicates()
4. Duplicated（ ）和drop_duplicates（ ）方法是以默认的方式判断全部的列（上面的例子中是看两个变量a和b是否都是重复出现）。
我们也可以对特定的列进行重复项判断。
C.duplicated(['a']) C.drop_duplicates(['a']) C.duplicated(['b']) C.drop_duplicates(['b'])
5. norepeat_df = df.drop_duplicates(subset=['A_ID', 'B_ID'], keep='first')
#上面的命令去掉UNIT_ID和KPI_ID列中重复的行，并保留重复出现的行中第一次出现的行
补充：
- 当keep=False时，就是去掉所有的重复行
- 当keep=‘first'时，就是保留第一次出现的重复行
- 当keep='last'时就是保留最后一次出现的重复行。
（注意，这里的参数是字符串，要加引号！！！）
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python序列化pickle模块使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-03-03
这篇文章主要介绍了python 实现逻辑回归的方法，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2020-12-12
这篇文章主要介绍了python检测远程服务器tcp端口的方法,涉及Python操作socket检测tcp端口的技巧,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了Python编程入门之Hello World的三种实现方式,实例分析了print输出函数的使用及控制台输出的相关技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-11-11
pyc是一种二进制文件,是由py文件经过编译后,生成的文件,下面这篇文章主要给大家介绍了关于python中py文件与pyc文件相互转换的相关资料,需要的朋友可以参考下2022-05-05
这篇文章主要为大家详细介绍了Python3利用Qt5实现简易的五子棋游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-05-05
这篇文章主要介绍了Python的框架的使用方法,文中以Flask框架的安装为例进行讲解,代码基于Python2.x版本,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了python 迭代器设计模式的相关资料，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下2021-01-01
今天小编就为大家分享一篇python中for循环把字符串或者字典添加到列表的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-07-07
本文针对Scrapy爬虫多线程导致抓取错乱的问题进行了深入分析,并提出了相应的解决方案,具有一定的参考价值,感兴趣的可以了解一下2023-11-11
最新评论