Python3爬虫学习之爬虫利器Beautiful Soup用法分析
本文实例讲述了Python3爬虫学习之爬虫利器Beautiful Soup用法。分享给大家供大家参考，具体如下：
爬虫利器Beautiful Soup
前面一篇说到通过urllib.request模块可以将网页当作本地文件来读取，那么获得网页的html代码后，自然就是要将我们所需要的部分从杂乱的html代码中分离出来。既然要做数据的查找和提取，当然我们首先想到的应该是正则表达式的方式，而正则表达式书写的复杂我想大家都有体会，而且Python中的正则表达式和其他语言中的并没有太大区别，也就不赘述了，所以现在介绍Python中一种比较友好且易用的数据提取方式——Beautiful Soup
Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.
文档中的例子其实说的已经比较清楚了，那下面就以爬取简书首页文章的标题一段代码来演示一下：
先来看简书首页的源代码：
可以发现简书首页文章的标题都是在<a/>标签中，并且class='title',所以，通过
find_all('a', 'title')
便可获得所有的文章标题，具体实现代码及结果如下：
# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
url = r'http://www.jianshu.com'
# 模拟真实浏览器进行访问
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read()
page_info = page_info.decode('utf-8')
# 将获取到的内容转换成BeautifulSoup格式，并将html.parser作为解析器
soup = BeautifulSoup(page_info, 'html.parser')
# 以格式化的形式打印html
# print(soup.prettify())
titles = soup.find_all('a', 'title') # 查找所有a标签中class='title'的语句
# 打印查找到的每一个a标签的string
for title in titles:
print(title.string)
PS：关于解析器
Beautiful Soup支持Python标准库中的HTML解析器,还支持一些第三方的解析器,下表列出了主要的解析器,以及它们的优缺点:
| 解析器 | 使用方法 | 优势 | 劣势 |
|---|---|---|---|
| Python标准库 | BeautifulSoup(markup, "html.parser") | (1)Python的内置标准库 (2)执行速度适中 (3)文档容错能力强 |
Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差 |
| lxml HTML 解析器 | BeautifulSoup(markup, "lxml") | (1)速度快 (2)文档容错能力强 |
需要安装C语言库 |
| lxml XML 解析器 | BeautifulSoup(markup, ["lxml", "xml"]) OR BeautifulSoup(markup, "xml") | (1)速度快 (2)唯一支持XML的解析器 |
需要安装C语言库 |
| html5lib | BeautifulSoup(markup, "html5lib") | (1)最好的容错性 (2)以浏览器的方式解析文档 (3)生成HTML5格式的文档 |
(1)速度慢 (2)不依赖外部扩展 |
更多关于Python相关内容可查看本站专题：《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
- 使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解
- Python爬虫库BeautifulSoup获取对象(标签)名,属性,内容,注释
- Python爬虫库BeautifulSoup的介绍与简单使用实例
- Python下利用BeautifulSoup解析HTML的实现
- python使用beautifulsoup4爬取酷狗音乐代码实例
- python3 BeautifulSoup模块使用字典的方法抓取a标签内的数据示例
- Python如何使用BeautifulSoup爬取网页信息
- Python爬虫实现使用beautifulSoup4爬取名言网功能案例
- Python使用Beautiful Soup爬取豆瓣音乐排行榜过程解析
- Python BeautifulSoup [解决方法] TypeError: list indices must be integers or slices, not str
- Python基于BeautifulSoup和requests实现的爬虫功能示例
- python中bs4.BeautifulSoup的基本用法
- Python获取基金网站网页内容、使用BeautifulSoup库分析html操作示例
- python使用BeautifulSoup与正则表达式爬取时光网不同地区top100电影并对比
- Python HTML解析器BeautifulSoup用法实例详解【爬虫解析器】
- Python爬虫beautifulsoup4常用的解析方法总结
- python3实现网络爬虫之BeautifulSoup使用详解
- python爬虫开发之Beautiful Soup模块从安装到详细使用方法与实例
相关文章
这篇文章主要为大家详细介绍了python实现zabbix发送短信脚本，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-09-09
python sys.stdin和sys.stdout的用法说明
这篇文章主要介绍了python sys.stdin和sys.stdout的用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
不会还有程序猿没有女朋友吧？没关系,今天特地为大家整理了这些Python花式表白代码,你就放心大胆的去吧,需要的朋友可以参考下2021-05-05
下面小编就为大家分享一篇详谈python中冒号与逗号的区别，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
这篇文章主要给大家介绍了利用python爬虫框架scrapy爬取京东商城的相关资料，文中给出了详细的代码介绍供大家参考学习，并在文末给出了完整的代码，需要的朋友们可以参考学习，下面来一起看看吧。2017-04-04
使用Python的package机制如何简化utils包设计详解
这篇文章主要给大家介绍了关于使用Python的package机制如何简化utils包设计的相关资料，文中通过示例代码的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起看看吧。2017-12-12
scrapy+scrapyd+gerapy 爬虫调度框架超详细教程
Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持，这篇文章主要介绍了scrapy+scrapyd+gerapy 爬虫调度框架超详细教程,需要的朋友可以参考下2022-06-06
这篇文章主要为大家详细介绍了Python机器学习之SVM支持向量机，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-12-12
这篇文章主要介绍了Python基于递归实现电话号码映射功能,结合实例形式分析了Python针对字典的递归、遍历相关操作技巧,需要的朋友可以参考下2018-04-04
这篇文章主要给大家介绍了关于Python使用scipy进行曲线拟合的相关资料,Scipy优化和拟合采用的是optimize模块,该模块提供了函数最小值(标量或多维)、曲线拟合和寻找等式的根的有用算法,需要的朋友可以参考下2022-11-11
最新评论