python按照list中字典的某key去重的示例代码
一、需求说明
当我们写爬虫的时候,经常会遇到json格式的数据,它通常是如下结构:
1 2 3 4 | data = [{ 'name' : '小K' , 'score' : 100 }, { 'name' : '小J' , 'score' : 98 }, { 'name' : '小Q' , 'score' : 95 }, { 'name' : '小K' , 'score' : 100 }] |
很显然名字为小K的数据重复了,我们需要进行去重。通常对于list的去重,我们可以用set()函数,即:
然而,运行之后你会发现它报错了:
list里的数据不能是dict类型,那么该怎么办呢?
二、我的解决方案
定义一个去重的函数即可,根据里面的某个key,对数据进行筛选去重:
1 2 3 4 5 6 7 8 | def DelRepeat(data,key): new_data = [] # 用于存储去重后的list values = [] # 用于存储当前已有的值 for d in data: if d[key] not in values: new_data.append(d) values.append(d[key]) return new_data |
参数data为需要去重的list,key为去重的健(即按照哪个key来去重),去重后结果为:
[{'name': '小K', 'score': 100},
{'name': '小J', 'score': 98},
{'name': '小Q', 'score': 95}]
成功去重!
到此这篇关于python按照list中字典的某key去重的示例代码的文章就介绍到这了,更多相关python list字典的某key去重内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!
![](http://files.jb51.net/skin/2018/images/jb51ewm.png)
微信公众号搜索 “ 脚本之家 ” ,选择关注
程序猿的那些事、送书等活动等着你
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权/违法违规/事实不符,请将相关资料发送至 reterry123@163.com 进行投诉反馈,一经查实,立即处理!
相关文章
python3应用windows api对后台程序窗口及桌面截图并保存的方法
今天小编就为大家分享一篇python3应用windows api对后台程序窗口及桌面截图并保存的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08浅谈Python3识别判断图片主要颜色并和颜色库进行对比的方法
这篇文章主要介绍了浅谈Python3识别判断图片主要颜色并和颜色库进行对比的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2019-10-10
最新评论