python按照list中字典的某key去重的示例代码
更新时间：2020年10月13日 11:22:01 作者：不正经的kimol君
这篇文章主要介绍了python按照list中字典的某key去重的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
一、需求说明
当我们写爬虫的时候，经常会遇到json格式的数据，它通常是如下结构：
data = [{'name':'小K','score':100},
{'name':'小J','score':98},
{'name':'小Q','score':95},
{'name':'小K','score':100}]
很显然名字为小K的数据重复了，我们需要进行去重。通常对于list的去重，我们可以用set()函数，即：
data = list(set(data))
然而，运行之后你会发现它报错了：
list里的数据不能是dict类型，那么该怎么办呢？
二、我的解决方案
定义一个去重的函数即可，根据里面的某个key，对数据进行筛选去重：
def DelRepeat(data,key):
new_data = [] # 用于存储去重后的list
values = [] # 用于存储当前已有的值
for d in data:
if d[key] not in values:
new_data.append(d)
values.append(d[key])
return new_data
参数data为需要去重的list，key为去重的健（即按照哪个key来去重），去重后结果为：
[{'name': '小K', 'score': 100},
{'name': '小J', 'score': 98},
{'name': '小Q', 'score': 95}]
成功去重！
到此这篇关于python按照list中字典的某key去重的示例代码的文章就介绍到这了,更多相关python list字典的某key去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了使用Python的toolz库开始函数式编程的方法，非常不错，具有一定的参考借鉴价值,需要的朋友可以参考下2018-11-11
python3应用windows api对后台程序窗口及桌面截图并保存的方法
今天小编就为大家分享一篇python3应用windows api对后台程序窗口及桌面截图并保存的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要介绍了Python3 处理JSON的实例详解的相关资料,希望通过本文能帮助到大家，让大家实现这样的功能，需要的朋友可以参考下2017-10-10
这篇文章主要介绍了Python日志模块logging简介,本文讲解了Logger、Handler、Formatter、日志配置管理、通过文件配置管理日志等内容,需要的朋友可以参考下2015-04-04
本篇文章主要介绍了Python 通过selenium实现毫秒级自动抢购的示例代码，通过扫码登录即可自动完成一系列操作，抢购时间精确至毫秒，可抢加购物车等待时间结算的，也可以抢聚划算、火车票等的商品，感兴趣的朋友跟随小编一起看看吧2022-10-10
这篇文章主要介绍了Python String型列表求最值的问题,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-01-01
浅谈Python3识别判断图片主要颜色并和颜色库进行对比的方法
这篇文章主要介绍了浅谈Python3识别判断图片主要颜色并和颜色库进行对比的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-10-10
这篇文章主要介绍了Python中字典与恒等运算符的用法,结合实例形式分析了Python中字典与恒等运算符功能、常见用法及操作注意事项,需要的朋友可以参考下2019-08-08
这篇文章主要为大家介绍了python全局变量,局部变量和命名空间，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2021-12-12
这篇文章主要介绍了python 函数传参之传值还是传引用的分析,需要的朋友可以参考下2017-09-09
最新评论