批处理处理文本文件去重复实现代码
更新时间：2016年11月12日 23:22:28 投稿：mdxy-dxy
这篇文章主要介绍了批处理处理文本文件去重复实现代码,需要的朋友可以参考下
最近需要将重复的内容去掉，所以就想到了使用bat或vbs实现，没想到网上已经有人写好了，测试也正好学习一下
使用方法：把文本拖到批处理上就行了。。。
@echo off
:: Code by oicu#lsxk.org 2007/11/29
rem chcp 437>nul
:: 看情况使用，utf-8编码的文件不能少了chcp命令，一般无需使用，
:: 但无论是否使用都不支持utf-16的文件。
:: pushd "%~dp1"
:: 如果不用pushd和popd，文件都要用绝对路径不能只用文件名。
if "%~1"=="" goto :EOF
set outputfile=%~dpn1_output%~x1
type nul>"%outputfile%"
echo Waiting...
for /F "tokens=1* delims=:" %%i in ('findstr /n .* "%~1"') do (
findstr /B /E /C:"%%j" "%outputfile%">nul 2>&1 || echo.%%j>>"%outputfile%"
)
pause
start "" notepad "%outputfile%"
:: popd
exit
【 在 oicu (Oh! I see you!) 的大作中提到: 】
: 去重复倒是行。。缺点就是慢和保留原有的空行了。
以下是vbs实现的代码
以下是这个脚本的源代码，复制后另存为vbs后缀的文件，双击即可运行。文件要放在C盘根下的Text.TXT，请特别注意：文本中一行一条记录，不要有空行。
Const adOpenStatic = 3
Const adLockOptimistic = 3
Const adCmdText = &H0001
Set objConnection = CreateObject("ADODB.Connection")
Set objRecordSet = CreateObject("ADODB.Recordset")
strPathToTextFile = "C:\"
strFile = "Test.txt"
objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _
"Data Source=" & strPathtoTextFile & ";" & _
"Extended Properties=""text;HDR=NO;FMT=Delimited"""
objRecordSet.Open "Select DISTINCT * FROM " & strFile, _
objConnection, adOpenStatic, adLockOptimistic, adCmdText
Do Until objRecordSet.EOF
Set objFSO = CreateObject("Scripting.FileSystemObject")
set Fp=objFSO.OpenTextFile("C:\test1.txt",8,True,0)
fp.WriteLine objRecordSet.Fields.Item(0).Value
fp.close
set objFSO = nothing
objRecordSet.MoveNext
Loop
相关文章
最新万能 DOS 启动盘制作全攻略(软盘+光盘+U盘+硬盘+NTFS+应急实用工具)
这篇文章主要给大家介绍了关于最新万能DOS启动盘制作全攻略,软盘+光盘+U盘+硬盘+NTFS+应急实用工具的相关资料,需要的朋友可以参考下2006-12-12
WinXP自动开机登陆WoW bat实现...2006-11-11
bat批处理实现的创建10个文件夹,文件夹再包含5个空文件夹
求bat代码,创建10个文件夹,每个文件夹再包含5个空文件夹.2008-10-10
按扩展名分类批处理bat文件...2007-08-08
特殊字符的处理一直是困扰新手的一大难题,本文主要介绍了批处理中处理特殊字符的几种方法小结,比如>、>>、<、<<、|、||、&、&&、^、%,感兴趣的可以了解一下2024-02-02
这篇文章主要介绍了dos常用的几个命令与实例用法，比较简单，比较适合新手学习2013-07-07
批处理文件中可引用的参数为%0~%9， %0是指批处理文件的本身，也可以说是一个外部命令；%1~%9是批处理参数，也称形参；而替换形参的实参若超过了批处理文件中所规定数值（9个）且想在批处理文件中应用这些实参的话，shift命令可以帮你实现2014-06-06
编写批处理文件时，需要运行一个命令后，延迟一二秒再运行下一个命令，那么该如何实现呢？这篇文章就跟大家分享了bat延时删除指定文件夹中的文件的方法，文中介绍的很详细，感兴趣的朋友们可以参考借鉴，下面来一起看看吧。2016-11-11
可以查杀sxs.exe的bat（批处理）文件...2007-08-08
判断U盘已插入并自动COPY所有内容的批处理-U盘自动复制...2007-11-11
最新评论