Python实现word2Vec model过程解析
更新时间：2019年12月16日 12:02:01 作者：Leslie_Chan
这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
这篇文章主要介绍了Python实现word2Vec model过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
import gensim, logging, os
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
import nltk
corpus = nltk.corpus.brown.sents()
fname = 'brown_skipgram.model'
if os.path.exists(fname):
# load the file if it has already been trained, to save repeating the slow training step below
model = gensim.models.Word2Vec.load(fname)
else:
# can take a few minutes, grab a cuppa
model = gensim.models.Word2Vec(corpus, size=100, min_count=5, workers=2, iter=50)
model.save(fname)
words = "woman women man girl boy green blue".split()
for w1 in words:
for w2 in words:
print(w1, w2, model.similarity(w1, w2))
print(model.most_similar(positive=['woman', ''], topn=1))
print(model.similarity('woman', 'girl'))girl
在gensim模块中已经封装了13年提出的model--word2vec，所以我们直接开始建立模型
这是建立模型的过程，最后会出现saving Word2vec的语句，代表已经成功建立了模型
这是输入了 gorvement和news关键词后 所反馈的词语 --- administration， 他们之间的相关性是0.508
当我在输入 women 和 man ，他们显示的相关性的0.638 ，已经是非常高的一个数字。
值得一提的是，我用的语料库是直接从nltk里的brown语料库。其中大概包括了一些新闻之类的数据。
大家如果感兴趣的话，可以自己建立该模型，通过传入不同的语料库，来calc 一些term的 相关性噢
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
linux系统使用python监测网络接口获取网络的输入输出
这篇文章主要介绍了linux系统使用python监测网络接口获取网络的输入输出信息，大家参考使用吧2014-01-01
Python环境Pillow( PIL )图像处理工具使用解析
这篇文章主要介绍了Python环境Pillow( PIL )图像处理工具使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
有时对于多个工作表需要进行合并或拆分,以便进行浏览总结,本文主要介绍了Python 合并/拆分Excel的实现示例,具有一定的参考价值,感兴趣的可以了解一下2023-09-09
这篇文章主要介绍了Python3中的多行输入问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-05-05
这篇文章主要介绍了使用Python的Twisted框架实现一个简单的服务器,翻译自Twisted的文档,需要的朋友可以参考下2015-04-04
pandas时间序列之如何将int转换成datetime格式
这篇文章主要介绍了pandas时间序列之如何将int转换成datetime格式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-07-07
这篇文章主要介绍了python基于gevent实现并发下载器代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
这篇文章主要为大家详细介绍了Python即时网络爬虫项目启动说明，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-02-02
一年一度的“双十一”又要来了，很多人已经开始摩拳擦掌，毕竟几天之后手还在不在就不好说了。看看Python帮你识破双11的套路,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了python进度条显示-tqmd模块的实现示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
最新评论