Python实现的txt文件去重功能示例

 更新时间:2018年07月07日 09:00:36   作者:人饭子  
这篇文章主要介绍了Python实现的txt文件去重功能,涉及Python针对txt文本文件的读写、字符串遍历、判断相关操作技巧,需要的朋友可以参考下

本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考,具体如下:

# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt"  #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/1"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
  if line not in lines_seen:
    a+=1
    outfile.write(line)
    lines_seen.add(line)
    print(a)
    print('\n')
outfile.close()
print("success")

其中old.tx如下:

www.jb51.net
www.baidu.com
www.sina.com.cn
www.jb51.net
www.google.com
www.sohu.com
www.jb51.net
www.163.com

运行后new.txt内容如下:

www.jb51.net
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com

PS:这里再为大家提供几款相关工具供大家参考使用:

在线去除重复项工具:
http://tools.jb51.net/code/quchong

在线文本去重复工具:
http://tools.jb51.net/aideddesign/txt_quchong

更多关于Python相关内容感兴趣的读者可查看本站专题:《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程

希望本文所述对大家Python程序设计有所帮助。

相关文章

  • 如何利用Boost.Python实现Python C/C++混合编程详解

    如何利用Boost.Python实现Python C/C++混合编程详解

    这篇文章主要给大家介绍了关于如何利用Boost.Python实现Python C/C++混合编程的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起看看吧
    2018-11-11
  • Pygame游戏开发之太空射击实战子弹与碰撞处理篇

    Pygame游戏开发之太空射击实战子弹与碰撞处理篇

    相信大多数8090后都玩过太空射击游戏,在过去游戏不多的年代太空射击自然属于经典好玩的一款了,今天我们来自己动手实现它,在编写学习中回顾过往展望未来,下面开始讲解子弹与碰撞处理,在本课中,我们将添加玩家与敌人之间的碰撞,以及添加供玩家射击的子弹
    2022-08-08
  • Python有序字典简单实现方法示例

    Python有序字典简单实现方法示例

    这篇文章主要介绍了Python有序字典简单实现方法,涉及Python使用OrderedDict方法进行字典排序的相关操作技巧,需要的朋友可以参考下
    2017-09-09
  • Python自动化测试工具Splinter简介和使用实例

    Python自动化测试工具Splinter简介和使用实例

    这篇文章主要介绍了Python自动化测试工具Splinter简介和使用实例,Splinter可以非常棒的模拟浏览器的行为,Splinter提供了丰富的API,可以获取页面的信息判断当前的行为所产生的结果
    2014-05-05
  • 举例讲解Python设计模式编程的代理模式与抽象工厂模式

    举例讲解Python设计模式编程的代理模式与抽象工厂模式

    这篇文章主要介绍了Python编程的代理模式与抽象工厂模式,文中举了两个简单的小例子来说明这两种设计模式的思路在Python编程中的体现,需要的朋友可以参考下
    2016-01-01
  • Python学习笔记之Break和Continue用法分析

    Python学习笔记之Break和Continue用法分析

    这篇文章主要介绍了Python学习笔记之Break和Continue用法,结合实例形式分析了Python中Break和Continue的功能、使用方法、区别及相关操作注意事项,需要的朋友可以参考下
    2019-08-08
  • Python使用Opencv实现边缘检测以及轮廓检测的实现

    Python使用Opencv实现边缘检测以及轮廓检测的实现

    这篇文章主要介绍了Python使用Opencv实现边缘检测以及轮廓检测的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-12-12
  • 基于python实现高速视频传输程序

    基于python实现高速视频传输程序

    这篇文章主要介绍了基于python实现高速视频传输程序的实例代码,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-05-05
  • python绘制云雨图raincloud plot

    python绘制云雨图raincloud plot

    这篇文章主要介绍了python绘制云雨图raincloud plot,Raincloud的Python实现是一个名为PtitPrince的包,它写在seaborn之上,这是一个Python绘图库,用于从pandas数据帧中获取漂亮的绘图
    2022-08-08
  • Python做屏幕录制工具的实现示例

    Python做屏幕录制工具的实现示例

    本文主要介绍了Python做屏幕录制工具的实现示例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06

最新评论