脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python 爬虫解析方法

Python爬虫的两套解析方法和四种爬虫实现过程

 更新时间：2018年07月20日 08:14:39   作者：Python火火  
本文想针对某一网页对 python 基础爬虫的两大解析库（ BeautifulSoup 和 lxml ）和几种信息提取实现方法进行分析，及同一网页爬虫的四种实现方式，需要的朋友参考下吧

对于大多数朋友而言，爬虫绝对是学习 python 的最好的起手和入门方式。因为爬虫思维模式固定，编程模式也相对简单，一般在细节处理上积累一些经验都可以成功入门。本文想针对某一网页对  python 基础爬虫的两大解析库（  BeautifulSoup 和  lxml ）和几种信息提取实现方法进行分析，以开  python 爬虫之初见。

基础爬虫的固定模式

笔者这里所谈的基础爬虫，指的是不需要处理像异步加载、验证码、代理等高阶爬虫技术的爬虫方法。一般而言，基础爬虫的两大请求库 urllib 和  requests 中  requests 通常为大多数人所钟爱，当然  urllib 也功能齐全。两大解析库  BeautifulSoup 因其强大的  HTML 文档解析功能而备受青睐，另一款解析库  lxml 在搭配  xpath 表达式的基础上也效率提高。就基础爬虫来说，两大请求库和两大解析库的组合方式可以依个人偏好来选择。

笔者喜欢用的爬虫组合工具是：

  • requests +  BeautifulSoup
  • requests +  lxml

同一网页爬虫的四种实现方式

笔者以腾讯新闻首页的新闻信息抓取为例。

首页外观如下：

 

比如说我们想抓取每个新闻的标题和链接，并将其组合为一个字典的结构打印出来。首先查看 HTML 源码确定新闻标题信息组织形式。

 

可以目标信息存在于 em 标签下  a 标签内的文本和  href 属性中。可直接利用  requests 库构造请求，并用  BeautifulSoup 或者  lxml 进行解析。

方式一： requests +  BeautifulSoup +  select css选择器

 # select method
 import requests
 from bs4 import BeautifulSoup
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'} 
 url = 'http://news.qq.com/' 
 Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml')
 em = Soup.select('em[class="f14 l24"] a')
 for i in em:
   title = i.get_text()
   link = i['href']
   print({'标题': title, 
 '链接': link
   })

很常规的处理方式，抓取效果如下：

 

方式二： requests +  BeautifulSoup +  find_all 进行信息提取

 # find_all method
 import requests
 from bs4 import BeautifulSoup
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 Soup = BeautifulSoup(requests.get(url=url, headers=headers).text.encode("utf-8"), 'lxml') 
 em = Soup.find_all('em', attrs={'class': 'f14 l24'})for i in em:
   title = i.a.get_text()
   link = i.a['href']
   print({'标题': title,
      '链接': link
   })

同样是 requests +  BeautifulSoup 的爬虫组合，但在信息提取上采用了  find_all 的方式。效果如下：

 

方式三： requests +  lxml/etree +  xpath 表达式

 # lxml/etree method
 import requests
 from lxml import etree 
 headers = {  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 html = requests.get(url = url, headers = headers)
 con = etree.HTML(html.text)
 title = con.xpath('//em[@class="f14 l24"]/a/text()')
 link = con.xpath('//em[@class="f14 l24"]/a/@href')
 for i in zip(title, link):
   print({'标题': i[0],
 '链接': i[1]
   })

使用 lxml 库下的  etree 模块进行解析，然后使用  xpath 表达式进行信息提取，效率要略高于  BeautifulSoup +  select 方法。这里对两个列表的组合采用了  zip 方法。python学习交流群：125240963效果如下：

 

方式四： requests +  lxml/html/fromstring +  xpath 表达式

 # lxml/html/fromstring method
 import requests
 import lxml.html as HTML 
 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.119 Safari/537.36'}
 url = 'http://news.qq.com/'
 con = HTML.fromstring(requests.get(url = url, headers = headers).text)
 title = con.xpath('//em[@class="f14 l24"]/a/text()')
 link = con.xpath('//em[@class="f14 l24"]/a/@href')
 for i in zip(title, link):
   print({'标题': i[0],'链接': i[1]
   })

跟方法三类似，只是在解析上使用了 lxml 库下的  html.fromstring 模块。抓取效果如下：

 

很多人觉得爬虫有点难以掌握，因为知识点太多，需要懂前端、需要python熟练、还需要懂数据库，更不用说正则表达式、XPath表达式这些。其实对于一个简单网页的数据抓取，不妨多尝试几种抓取方案，举一反三，也更能对python爬虫有较深的理解。长此以往，对于各类网页结构都有所涉猎，自然经验丰富，水到渠成。

总结

以上所述是小编给大家介绍的Python爬虫的两套解析方法和四种爬虫实现过程，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持！

您可能感兴趣的文章:

相关文章

  • 使用PyTorch处理多维特征输入数据的完美实现

    使用PyTorch处理多维特征输入数据的完美实现

    在机器学习和深度学习领域,我们经常会面对具有多维特征输入的问题,这种情况出现在各种应用中,包括图像识别、自然语言处理、时间序列分析等,PyTorch是一个强大的深度学习框架,在本篇博客中,我们将探讨如何使用PyTorch来处理多维特征输入数据
    2023-10-10
  • Python中静态方法,类方法,属性方法使用方法

    Python中静态方法,类方法,属性方法使用方法

    这篇文章主要介绍了Python中静态方法,类方法,属性方法使用方法，文章围绕主题的相关资料展开详细内容，具有一定的参考价值，需要的小伙伴可以参考一下
    2022-05-05
  • python中NumPy的安装与基本操作

    python中NumPy的安装与基本操作

    Python虽然也提供了array模块,但其只支持一维数组,不支持多维数组,也没有各种运算函数,因而不适合数值运算,NumPy的出现弥补了这些不足,这篇文章主要给大家介绍了关于python中NumPy的安装与基本操作的相关资料,需要的朋友可以参考下
    2022-03-03
  • Python django搭建layui提交表单,表格,图标的实例

    Python django搭建layui提交表单,表格,图标的实例

    今天小编就为大家分享一篇Python django搭建layui提交表单,表格,图标的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-11-11
  • python opencv实现目标外接图形

    python opencv实现目标外接图形

    这篇文章主要为大家详细介绍了python opencv实现目标外接图形，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-08-08
  • Django ORM 查询管理器源码解析

    Django ORM 查询管理器源码解析

    这篇文章主要介绍了Django ORM 查询管理器源码解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-08-08
  • opencv模板匹配相同位置去除重复的框

    opencv模板匹配相同位置去除重复的框

    这篇文章主要介绍了opencv模板匹配相同位置去除重复的框，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2021-04-04
  • Python的条件锁与事件共享详解

    Python的条件锁与事件共享详解

    这篇文章主要介绍了Python的条件锁与事件共享详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-09-09
  • Python 时间戳之获取整点凌晨时间戳的操作方法

    Python 时间戳之获取整点凌晨时间戳的操作方法

    这篇文章主要介绍了Python 时间戳之获取整点凌晨时间戳的操作方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友参考下吧
    2020-01-01
  • Python解析json时提示“string indices must be integers”问题解决方法

    Python解析json时提示“string indices must be integers”问题解决方法

    这篇文章主要介绍了Python解析json时提示“string indices must be integers”问题解决方法,结合实例形式分析了Python解析json字符串操作规范与相关使用技巧,需要的朋友可以参考下
    2019-07-07

最新评论