python中对list去重的多种方法
更新时间：2014年09月18日 13:20:13 投稿：junjie
这篇文章主要介绍了python中对list去重的多种方法,本文去重的前提是要保证顺序不变,本文给出了多种实现方法,需要的朋友可以参考下
今天遇到一个问题，在同事随意的提示下，用了 itertools.groupby 这个函数。不过这个东西最终还是没用上。
问题就是对一个list中的新闻id进行去重，去重之后要保证顺序不变。
直观方法
最简单的思路就是：
复制代码 代码如下:
ids = [1,2,3,3,4,2,3,4,5,6,1]
news_ids = []
for id in ids:
if id not in news_ids:
news_ids.append(id)
print news_ids
这样也可行，但是看起来不够爽。
用set
另外一个解决方案就是用set：
复制代码 代码如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids = list(set(ids))
这样的结果是没有保持原来的顺序。
按照索引再次排序
最后通过这种方式解决：
复制代码 代码如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
news_ids = list(set(ids))
news_ids.sort(ids.index)
使用itertools.grouby
文章一开始就提到itertools.grouby, 如果不考虑列表顺序的话可用这个：
复制代码 代码如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids.sort()
it = itertools.groupby(ids)
for k, g in it:
print k
关于itertools.groupby的原理可以看这里：http://docs.python.org/2/library/itertools.html#itertools.groupby
网友补充：用reduce
网友reatlk留言给了另外的解决方案。我补充并解释到这里：
复制代码 代码如下:
In [5]: ids = [1,4,3,3,4,2,3,4,5,6,1]
In [6]: func = lambda x,y:x if y in x else x + [y]
In [7]: reduce(func, [[], ] + ids)
Out[7]: [1, 4, 3, 2, 5, 6]
上面是我在ipython中运行的代码，其中的 lambda x,y:x if y in x else x + [y] 等价于 lambda x,y: y in x and x or x+[y] 。
思路其实就是先把ids变为[[], 1,4,3,......] ,然后在利用reduce的特性。reduce解释参看这里：http://docs.python.org/2/library/functions.html#reduce
相关文章
这篇文章主要为大家详细介绍了Python实现双向链表，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-05-05
今天小编就为大家分享一篇Django项目中用JS实现加载子页面并传值的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
这篇文章主要介绍了Python去除列表中重复元素的方法,实例分析了Python中去除列表重复元素的使用技巧,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了python的for循环,实例分析了Python中返回一个返回值与多个返回值的方法,需要的朋友可以参考下2021-10-10
关于Python Tkinter 复选框 -＞Checkbutton
这篇文章主要介绍了关于Python Tkinter复选框Checkbutton，文章围绕主题展开详细的内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下2022-09-09
迭代器（Iterators）和生成器（Generators）是 Python 中最强大的功能之一，但也是新手最容易混淆的部分，本文将深入探讨这两种概念，以及它们在 Python 编程中的实际应用,需要的朋友可以参考下2023-06-06
本文主要介绍了pandas按行按列遍历Dataframe,主要介绍了三种方法,具有一定的参考价值,感兴趣的可以了解一下2023-11-11
本文主要介绍了Python用yield from实现异步协程爬虫的实践，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-01-01
这篇文章主要介绍了python爬虫之基金信息存储，前面已经讲了很多次要进行数据存储，终于在上一篇中完成了数据库的设，在这篇文章我们就来完成数据存储操作部分的介绍,需要的朋友可以参考一下2022-05-05
这篇文章主要介绍了python numpy实现文件存取的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-05-05
最新评论