urllib和BeautifulSoup爬取维基百科的词条简单实例
更新时间：2018年01月17日 14:08:41 作者：powerpoint_2016
这篇文章主要介绍了urllib和BeautifulSoup爬取维基百科的词条简单实例，具有一定借鉴价值,需要的朋友可以参考下
本文实例主要实现的是使用urllib和BeautifulSoup爬取维基百科的词条，具体如下。
简洁代码：
#引入开发包
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
#请求URL并把结果用UTF-8编码
resp=urlopen("https://zh.wikipedia.org/wiki/Wikipedia:%E9%A6%96%E9%A1%B5").read().decode("utf-8")
#使用BeautifulSoup去解析
soup=BeautifulSoup(resp,"html.parser")
#print(soup)
#获取所有以/wiki/开头的a标签的href属性
listUrl=soup.findAll("a",href=re.compile("^/wiki/"))
#输出所有词条对应的名称和URL
for link in listUrl:
if not re.search("\.(jpg|JPG)$",link["href"]):
print(link.get_text(),"<----->","https://zh.wikipedia.org"+link["href"])
运行结果：
总结
总的来说，Python是简洁而又强大的，调用几个库，就能实现其他语言一大堆代码才能实现的功能。
以上就是本文关于urllib和BeautifulSoup爬取维基百科的词条简单实例的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！
相关文章
这篇文章主要介绍了django中使用事务以及接入支付宝支付功能,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2019-09-09
这篇文章主要介绍了Python3如何对urllib和urllib2进行重构,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了Python爬虫框架Scrapy常用命令,结合实例形式总结分析了Scrapy框架中常见的全局命令与项目命令功能、使用方法及操作注意事项,需要的朋友可以参考下2018-07-07
今天小编就为大家分享一篇使用Pandas的Series方法绘制图像教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
详解model.train()和model.eval()两种模式的原理与用法
这篇文章主要介绍了详解model.train()和model.eval()两种模式的原理与用法,相信很多没有经验的人对此束手无策,那么看完这篇文章一定会对你有所帮助2023-03-03
这篇文章主要介绍了Python报错:对象不存在此属性的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-05-05
本文主要介绍了python中copy和deepcopy的使用区别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-04-04
今天小编就为大家分享一篇python实现回旋矩阵方式(旋转矩阵)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
os模块基本来说就是处理文件个一个模块，或者说接口，说白了就是处理文件。这篇文章主要介绍了python自动办公的实现代码，代码简单易懂,需要的朋友可以参考下2021-11-11
PyCharm是一款功能强大的Python编辑器,具有跨平台性,下面这篇文章主要给大家介绍了关于pycharm配置python环境的详细图文教程,文中通过图文介绍的非常详细,需要的朋友可以参考下2023-01-01
最新评论