Python实现字典去除重复的方法示例

 更新时间:2017年07月31日 12:15:56   作者:无法自拔  
这篇文章主要介绍了Python实现字典去除重复的方法,涉及Python字典遍历、文件读取、去除重复等相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python实现字典去除重复的方法。分享给大家供大家参考,具体如下:

#!/usr/bin/env python
# encoding: utf-8
#字典去重小代码
import sys
import os
import platform
try:
  pass 
except:
  print '''you have something wrong this is a simple jiaoben '''
  sys.exit()
why = 'why.txt'
for i in xrange(len(sys.argv)):
  if(i>=1):
    other = sys.argv[i]
    if os.path.exists(other):
      pass
    else:
      print other + ' file not find'
      sys.exit()
    if 'Windows' in platform.system():
      os.system("type "+other+" >> "+why)
    else:
      os.system("cat "+other+" >> "+why)
yuan = open('why.txt','r')
dirc = open('whynot.txt','w')
for line in set(yuan.readlines()):
  if line == '' or line == '\r\n':
    pass
  else:
    dirc.writelines(line)

很简单的思路 把文件放入到why.txt中 然后再去重得到whynot.txt
Usage: quchong.py 1.txt 2.txt 3.txt 等等

PS:本站还有两款比较简单实用的在线文本去重复工具,推荐给大家使用:

在线去除重复项工具:
http://tools.jb51.net/code/quchong

在线文本去重复工具:
http://tools.jb51.net/aideddesign/txt_quchong

更多关于Python相关内容可查看本站专题:《Python字典操作技巧汇总》、《Python字符串操作技巧汇总》、《Python常用遍历技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》及《Python入门与进阶经典教程

希望本文所述对大家Python程序设计有所帮助。

相关文章

  • 谈一谈数组拼接tf.concat()和np.concatenate()的区别

    谈一谈数组拼接tf.concat()和np.concatenate()的区别

    今天小编就为大家分享一篇谈谈数组拼接tf.concat()和np.concatenate()的区别,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • 如何利用Pytorch计算三角函数

    如何利用Pytorch计算三角函数

    这篇文章主要介绍了如何利用Pytorch计算三角函数,文中有非常详细的代码示例,对正在学习python的小伙伴们有很好地帮助,需要的朋友可以参考下
    2021-05-05
  • python基于multiprocessing的多进程创建方法

    python基于multiprocessing的多进程创建方法

    这篇文章主要介绍了python基于multiprocessing的多进程创建方法,实例分析了multiprocessing模块操作进程的相关技巧,需要的朋友可以参考下
    2015-06-06
  • python中mpi4py的所有基础使用案例详解

    python中mpi4py的所有基础使用案例详解

    这篇文章主要介绍了python中mpi4py的所有基础使用,本文通过10个案例给大家详细讲解,结合实例代码给大家介绍的非常详细,需要的朋友可以参考下
    2022-08-08
  • Django Rest framework权限的详细用法

    Django Rest framework权限的详细用法

    这篇文章主要介绍了Django Rest framework权限的详细用法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • Python实现顺序查找的示例代码

    Python实现顺序查找的示例代码

    顺序查找(Sequential Search)是一种简单直观的搜索算法,用于在无序数组中查找特定元素,本文将介绍顺序查找的基本原理,并通过Python代码进行详细讲解,需要的可以参考一下
    2023-08-08
  • Python np.where()的详解以及代码应用

    Python np.where()的详解以及代码应用

    numpy里有一个非常神奇的函数叫做np.where()函数,下面这篇文章主要给大家介绍了关于Python np.where()的详解以及代码应用的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2022-08-08
  • Python中的特殊方法以及应用详解

    Python中的特殊方法以及应用详解

    这篇文章主要给大家介绍了关于Python中特殊方法以及应用的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-09-09
  • Django使用echarts进行可视化展示的实践

    Django使用echarts进行可视化展示的实践

    可视化是将数据转换成图形或图像在屏幕上显示出来,本文主要介绍了Django使用echarts进行可视化展示的实践,感兴趣的可以了解一下
    2021-06-06
  • 基于BCEWithLogitsLoss样本不均衡的处理方案

    基于BCEWithLogitsLoss样本不均衡的处理方案

    这篇文章主要介绍了BCEWithLogitsLoss样本不均衡的处理方案,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2021-05-05

最新评论