编写简单的Python程序来判断文本的语种
更新时间：2015年04月07日 17:00:13 投稿：goldensun
这篇文章主要介绍了编写简单的Python程序来判断语种,代码非常简单,主要用到了langid工具包,需要的朋友可以参考下
1.问题的描述
用Python进行文本处理时，有时候处理的文本中包含中文、英文、日文等多个语系的文本，有时候不能同时进行处理，这个时候就需要判别当前文本是属于哪个语系的。Python中有个langid工具包提供了此功能，langid目前支持97种语言的检测，非常好用。
2.程序的代码
以下Python是调用langid工具包来对文本进行语言检测与判别的程序代码：
import langid #引入langid模块
def translate(inputFile, outputFile):
fin = open(inputFile, 'r') #以读的方式打开输入文件
fout = open(outputFile, 'w') #以写的方式打开输出文件
for eachLine in fin: #依次读入每一行
line = eachLine.strip().decode('utf-8', 'ignore') #去除每行的首位空格等，并统一转化成Unicode
lineTuple = langid.classify(line) #调用langid来对该行进行语言检测
if lineTuple[0] == "zh": #如果该行语言大部分为中文，则不进行任何处理
continue
outstr = line #如果该行语言为非中文，则准备输出
fout.write(outstr.strip().encode('utf-8') + '\n') #输出非中文的行，从Unicode转化成utf-8输出
fin.close()
fout.close()
if __name__ == '__main__': #相当于main函数
translate("myInputFile.txt", "myOutputFile.txt")
以上代码是用来处理一个文本，将不属于中文的行依次输出到一个新的文件。
3.注意
第9、10行代码，langid.classify(line)的输出结果是一个二元组，二元组的第一项表示该文本所属的语系，如：zh表示中文、en表示英语、等等；二元组的第二项表示该文本中属于第一项中语系的所占比例。
希望对大家有所帮助。
相关文章
这篇文章主要介绍了Python编程中的反模式,详细讲述了反模式的害处并以实例形式具体分析了容易造成的易错点,对于Python学习来说具有一定的参考借鉴价值,需要的朋友可以参考下2014-12-12
这篇文章主要介绍了详解如何用TensorFlow训练和识别/分类自定义图片，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
这篇文章主要介绍了Python通过队列实现进程间通信详情文章通过提出问题：在多进程中，每个进程之间是什么关系展开主题相关内容，感兴趣的朋友可以参考一下2022-06-06
python中如何使用xml.dom.minidom模块读取解析xml文件
xml.dom.minidom模块应该是内置模块不用下载安装,本文给大家介绍python中如何使用xml.dom.minidom模块读取解析xml文件,感兴趣的朋友一起看看吧2023-10-10
这篇文章主要为大家介绍了python爬虫之scrapy框架，具有一定的参考价值，感兴趣的小伙伴们可以参考一下，希望能够给你带来帮助2021-11-11
这篇文章主要介绍了python udp如何实现同时收发信息，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-05-05
这篇文章主要介绍了python遍历类中所有成员的方法,实例分析了Python类操作的技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-03-03
本篇文章给大家详细讲述了python中logging包的使用的相关知识点以及原理分析，有兴趣的朋友可以参考学习下。2018-02-02
这篇文章主要介绍了Python tkinter和exe打包的方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了Django MTV和MVC的区别详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-03-03
最新评论