python使用jieba实现中文分词去停用词方法示例
前言
jieba 基于Python的中文分词工具，安装使用非常方便，直接pip即可，2/3都可以，功能强悍，十分推荐。
中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。
分词模块jieba，它是python比较好用的分词模块。待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
支持三种分词模式
1 精确模式，试图将句子最精确地切开，适合文本分析；
2 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
3 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
# 精确模式 seg_list = jieba.cut("我去过清华大学和北京大学。")
# 全模式 seg_list = jieba.cut("我去过清华大学和北京大学。", cut_all=True)
# 搜索引擎模式 seg_list = jieba.cut_for_search("我去过清华大学和北京大学。")
#精确模式: 我/ 去过/ 清华大学/ 和/ 北京大学/ 。
#全模式: 我/ 去过/ 清华/ 清华大学/ 华大/ 大学/ 和/ 北京/ 北京大学/ 大学/ /
#搜索引擎模式: 我/ 去过/ 清华/ 华大/ 大学/ 清华大学/ 和/ 北京/ 大学/ 北京大学/
#coding=utf-8
import jieba. analyse
stopwords=[]
for word in open('stopwords.txt','r'):
stopwords.append(word.strip())
article=open('1.txt','r').read()
words=jieba.cut(article,cut_all=False)
stayed_line=""
for word in words:
if word.encode("utf-8")not in stopwords:
stayed_line+=word+" "
print stayed_line
w=open('2.txt','w')
w.write(stayed_line.encode('utf-8'))
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对脚本之家的支持。
相关文章
这篇文章主要介绍了python实现读取类别频数数据画水平条形图案例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-04-04
大家好，本篇文章主要讲的是用python的seaborn画数值箱型图，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-01-01
大家好，本篇文章主要讲的是Python项目打包成exe文件，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览2021-12-12
pyecharts是支持python的一种可视化，那么在Django中Pyecharts如何生成图表，主要有两种方法，需要的朋友们下面随着小编来一起学习学习吧2021-05-05
Django1.7+python 2.78+pycharm配置mysql数据库教程
原本感觉在Django1.7+python 2.78+pycharm环境下配置mysql数据库是件很容易的事情，结果具体操作的时候才发现，问题还是挺多的，这里记录一下最终的配置结果，给需要的小伙伴参考下吧2014-11-11
这篇文章主要介绍了pyinstaller通过spec文件打包py程序,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-05-05
这篇文章主要介绍了Python使用pyodbc访问数据库操作方法,结合实例形式详细分析了Python基于pyodbc针对数据库的连接、查询、插入、修改、删除等操作技巧与注意事项,需要的朋友可以参考下2018-07-07![python 中[0]*2与0*2的区别说明](//img.jbzj.com/images/xgimg/bcimg7.png)
这篇文章主要介绍了python 中[0]*2与0*2的区别说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-05-05
今天小编就为大家分享一篇pytorch中的transforms模块实例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
分水岭技术是一种众所周知的分割算法，特别适用于提取图片中的相邻或重叠对象。本文将用Python实现基于标记的分水岭分割算法，感兴趣的可以了解一下2022-07-07
![python 中[0]*2与0*2的区别说明](http://img.jbzj.com/images/xgimg/bcimg7.png)
最新评论