脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → Python中的Xpath和lxml库

Python中的Xpath和lxml库的使用详解

 更新时间：2023年12月06日 10:00:55   作者：凌冰_  
这篇文章主要介绍了Python中的Xpath和lxml库的使用详解,XPath即 XML路径语言,它是一门在 XML 文档中查找信息的语言,最初被用来搜寻 XML 文档,同时它也适用于搜索 HTML 文档,因此,在爬虫过程中可以使用 XPath 来提取相应的数据,需要的朋友可以参考下

一、Xpath表达式

XPath（全称：XML Path Language）即 XML 路径语言，它是一门在 XML 文档中查找信息的语言，最初被用来搜寻 XML 文档，同时它也适用于搜索 HTML 文档。

因此，在爬虫过程中可以使用 XPath 来提取相应的数据。

Xpath节点:有父、子、同代、先辈、后代节点

<?xml version="1.0" encoding="utf-8"?>
<shop>
    <book>
      <title lang="zh-CN">java</title>
      <name>Java编程思想</name>
      <year>2011</year>
      <address>www.baidu.com</address>
    </book>
</shop>

说明：

  • title name year address 都是 book 的子节点
  • book 是 title name year address  父节点
  • title name year address  属于同代节点
  • title 元素的先辈节点是 book shop
  • shop 的后代节点是 book title name year address

二、Xpath基本语法

1) 基本语法

2) xpath通配符

xpath（'/div/*'）选取div下的所有子节点xpath('/div[@*]')选取所有带属性的div节点

3) 多路径匹配

xpath表达式1 | xpath表达式2 | xpath表达式3

xpath('//div|//table') 选取所有的div和table节点

4）功能函数

三、lxml库

lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 Xpath 表达式提供了良好的支持，因此能够了高效地解析 HTML/XML 文档。

本节讲解如何通过 lxml 库解析 HTML 文档。

安装lxml库

pip3 install lxml

lxml使用流程

1) 导入模块

from lxml import etree

2)创建解析对象

parse_html = etree.HTML(html)

3) 调用xpath表达式

r_list = parse_html.xpath('xpath表达式')

4) lxml库数据提取

print(r_list)

四、实战案例

豆瓣书店

#豆瓣书店
import requests
from lxml import  etree
 
if __name__ == '__main__':
    url='https://market.douban.com/book/?utm_campaign=book_nav_freyr&utm_source=douban&utm_medium=pc_web'
    headers_={
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36"
    }
    res=requests.get(url,headers_)
    # print(res.text)
    html=etree.HTML(res.text)
    #获取所有的li
    lis=html.xpath('.//li[@class="book-item"]')
    #循环
    for li in lis:
        #获取li下的图片
        img=li.xpath('.//div[@class="panel-img"]/img/@src')[0]
        # print(img)
        # 获取li下的标题
        title = li.xpath('.//div[@class="panel-detail"]/div/h3/text()')[0]
        print(img, title)

到此这篇关于Python中的Xpath和lxml库的使用详解的文章就介绍到这了,更多相关Python中的Xpath和lxml库内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • 跟老齐学Python之玩转字符串(2)

    跟老齐学Python之玩转字符串(2)

    上一篇文章章中已经讲到连接两个字符串的一种方法，本文继续讲诉连接字符串的方法2，字符串复制，字符串长度，字符大小写的转换，希望对大家有所帮助。
    2014-09-09
  • python中单下划线(_)和双下划线（__）的特殊用法

    python中单下划线(_)和双下划线（__）的特殊用法

    这篇文章主要介绍了python中单下划线（_）和双下划线（__）的特殊用法,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
    2019-08-08
  • Python简单实现子网掩码转换的方法

    Python简单实现子网掩码转换的方法

    这篇文章主要介绍了Python简单实现子网掩码转换的方法,涉及Python字符串相关操作技巧,需要的朋友可以参考下
    2016-04-04
  • Python实现大数据收集至excel的思路详解

    Python实现大数据收集至excel的思路详解

    这篇文章主要介绍了Python实现大数据收集至excel的思路，本文通过完整代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-01-01
  • 20个解决日常编程问题的Python代码分享

    20个解决日常编程问题的Python代码分享

    在这篇文章中，主要和大家分享了20个Python代码片段，以帮助你应对日常编程挑战。文中的示例代码讲解详细，感兴趣的小伙伴可以跟上小编一起了解一下
    2023-01-01
  • 新一代Python包管理工具

    新一代Python包管理工具

    这篇文章主要介绍了新一代Python包管理工具，Python包管理工具，一般就会想到想到pip、conda等经典工具，本篇文章要介绍的是一款新颖的Python包管理工具pdm，需要的小伙伴可以参考一下
    2022-02-02
  • Python函数的周期性执行实现方法

    Python函数的周期性执行实现方法

    这篇文章主要介绍了Python函数的周期性执行实现方法,涉及Python使用sched模块实现函数周期性调度触发的相关技巧,需要的朋友可以参考下
    2016-08-08
  • Pandas数据分析之groupby函数用法实例详解

    Pandas数据分析之groupby函数用法实例详解

    这篇文章主要为大家介绍了Pandas数据分析之groupby函数用法实例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-10-10
  • 讲解Python中的递归函数

    讲解Python中的递归函数

    这篇文章主要介绍了讲解Python中的递归函数,递归是学一门编程语言必须掌握的重要特性,需要的朋友可以参考下
    2015-04-04
  • 使用Python生成随机图片验证码的代码详解

    使用Python生成随机图片验证码的代码详解

    当我们在写一个Web项目的时候一般要写登录操作，而为了安全起见，现在的登录功能都会加上输入图片验证码这一功能，所以本文就给大家介绍一下如何使用Python生成随机图片验证码,需要的朋友可以参考下
    2023-07-07

最新评论