Scrapy元素选择器Xpath用法汇总

更新时间：2021年03月23日 11:24:09 作者：思维之上

这篇文章主要介绍了Scrapy元素选择器Xpath用法汇总，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

众所周知，在设计爬虫时，最麻烦的一步就是对网页元素进行分析，目前流行的网页元素获取的工具有BeautifulSoup，lxml等，而据我使用的体验而言，Scrapy的元素选择器Xpath（结合正则表达式）是其中较为出色的一种（个人认为最好啦，当然只能在Scrapy中使用）功能相对较全、使用较为方便，正因为它的丰富性，有时很多功能会忘记，所以在这里整理好记录下来，方便今后查阅使用。

1. 元素的多级定位与跳级定位

多级定位：依靠html中的多级元素逐步缩小范围

response.xpath('//table/tbody/tr/td')

//如果知道元素所属的下标可以用下标选择
response.xpath('//table/tbody/tr[1]/td')

跳级定位：符号“//”表示跳级定位，即对当前元素的所有层数的子元素（不仅是第一层子元素）进行查找，一般xpath的开头都是跳级定位

response.xpath('//span//table')

2. 依靠元素的属性定位

每个html元素都有很多属性，如id、class、title、href、text(href和text往往可以配合正则表达式）等，这些属性往往具有很强的特殊性，结合元素多级定位或跳级定位会更准确高效，下面举几个典型的例子，其他的举一反三

利用class定位

response.xpath('//td[@class="mc_content"]')

利用href配合正则表达式定位

response.xpath('//a[re:test(@href,"^\/index\.php\?m=News&a=details&id=1&NewsId=\d{1,4}")]')

利用text结合正则表达式定位

a=response.xpath('//a[re:test(text(),"\w{4}")]')

此外，xpath还有对于html元素操作的两个实用的函数（可以用正则表达式代替）——starts-with和contains；

a=response.xpath('//a[starts-with(@title,"注册时间")]')

a=response.xpath('//a[contains(text(),"闻")]')

3. 提取元素或元素的属性值

首先是最基本的extract()函数，提取被定为的元素对象

a=response.xpath('//a[contains(text(),"闻")]').extract()

//如果被定为的元素对象有多个，可以有用下标指定
a=response.xpath('//a[contains(text(),"闻")]').extract()[1]

提取元素的属性

//提取text
a=response.xpath('//a[contains(text(),"闻")]/text()').extract()

//获取href
a=response.xpath('//a[contains(text(),"闻")]/@href').extract()

//获取name
a=response.xpath('//a[contains(text(),"闻")]/@name').extract()

此时我们的正则表达式又闲不住了（scrapy自带的函数），可以对提取的元素进行选择

//对href中的部分字符串进行选择
response.xpath('//a[@name="_l_p_n"]/@href').re('\/s.*?list\.htm')

在这里关于xpath的所有用法基本总结完毕，只是由于xpath是对静态元素进行匹配选择，对于javascript往往束手无策，这时不得不用一个自动化测试工具——selenium，可以实现各种动态事件和静态元素的选择，只是selenium往往比较吃内存，响应时间也比较慢，对于大型的爬虫任务尽量不要使用，毕竟有一些javascript元素是内嵌在网页代码中的，这时候结合万能的正则表达式，xpath往往能够实现。如下：

link = re.search("javascript:goToPage\('(.*?)'", value) //value为包含该段的字符串

到此这篇关于Scrapy元素选择器Xpath用法汇总的文章就介绍到这了,更多相关Scrapy元素选择器Xpath 内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Scrapy
Xpath

解决遇到:PytorchStreamReader failed reading zip&n
本文针对"PytorchStreamReaderfailedreadingziparchive:failedfindingcentral"错误提出解决方案,包括检查文件完整性、文件路径,尝试更新PyTorch版本,检查压缩文件格式,代码问题,或寻求技术支持等,希望这些经验能给遇到同样问题的人一个参考
2024-09-09
PyCharm GUI界面开发和exe文件生成的实现
这篇文章主要介绍了PyCharm GUI界面开发和exe文件生成，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-03-03
Python利用Flask动态生成汉字头像
这篇文章主要为大家详细介绍了Python如何利用Flask动态生成一个汉字头像，文中的示例代码讲解详细，对我们学习Python有一定的帮助，需要的可以参考一下
2023-01-01
Python批量发送post请求的实现代码
昨天学了一天的Python（我的生产语言是java，也可以写一些shell脚本，算有一点点基础），今天有一个应用场景，就正好练手了
2018-05-05
windows下pycharm搭建spark环境并成功运行附源码
这篇文章主要介绍了windows下pycharm搭建spark环境并成功运行附源码,本文分步骤给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2021-04-04
python迭代器与生成器详解
迭代器和生成器都是Python中特有的概念，迭代器可以看作是一个特殊的对象，每次调用该对象时会返回自身的下一个元素，从实现上来看，一个可迭代的对象必须是定义了__iter__()方法的对象，而一个迭代器必须是定义了__iter__()方法和next()方法的对象。
2016-03-03
Python matplotlib实时画图案例
这篇文章主要介绍了Python matplotlib实时画图案例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-04-04
100 个 Python 小例子（练习题四）
这篇文章主要给大家分享100 个 Python 小例子，前文分享了一二三，本文的四十最后一篇了，这篇就把100道python小练习全分享完了，感兴趣的小伙伴也可以去练习前几期内容，洗碗给这几篇文章给你的学习带来帮助
2022-01-01
Django结合使用Scrapy爬取数据入库的方法示例
这篇文章主要介绍了Django结合使用Scrapy爬取数据入库的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2021-03-03
python操作MySQL数据库具体方法
坚持每天学一点，每天积累一点点，作为自己每天的业余收获，这个文章是我在吃饭的期间写的，利用自己零散的时间学了一下python操作MYSQL，所以整理一下。我采用的是MySQLdb操作的MYSQL数据库。先来一个简单的例子吧
2013-10-10