python Scrapy框架原理解析
更新时间：2021年01月04日 11:47:51 作者：划水De雁晓明
这篇文章主要介绍了python Scrapy框架原理的相关资料，帮助大家更好的理解和使用python爬虫，感兴趣的朋友可以了解下
Python 爬虫包含两个重要的部分：正则表达式和Scrapy框架的运用， 正则表达式对于所有语言都是通用的，网络上可以找到各种资源。
如下是手绘Scrapy框架原理图，帮助理解
如下是一段运用Scrapy创建的spider：使用了内置的crawl模板，以利用Scrapy库的CrawlSpider。相对于简单的爬取爬虫来说，Scrapy的CrawlSpider拥有一些网络爬取时可用的特殊属性和方法：
$ scrapy genspider country_or_district example.python-scrapying.com--template=crawl
运行genspider命令后，下面的代码将会在example/spiders/country_or_district.py中自动生成。
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from example.items import CountryOrDistrictItem
class CountryOrDistrictSpider(CrawlSpider):
name = 'country_or_district'
allowed_domains = ['example.python-scraping.com']
start_urls = ['http://example.python-scraping.com/']
rules = (
Rule(LinkExtractor(allow=r'/index/', deny=r'/user/'),
follow=True),
Rule(LinkExtractor(allow=r'/view/', deny=r'/user/'),
callback='parse_item'),
)
def parse_item(self, response):
item = CountryOrDistrictItem()
name_css = 'tr#places_country_or_district__row td.w2p_fw::text'
item['name'] = response.css(name_css).extract()
pop_xpath = '//tr[@id="places_population__row"]/td[@class="w2p_fw"]/text()'
item['population'] = response.xpath(pop_xpath).extract()
return item
爬虫类包括的属性：
- name: 识别爬虫的字符串。
- allowed_domains: 可以爬取的域名列表。如果没有设置该属性，则表示可以爬取任何域名。
- start_urls: 爬虫起始URL列表。
- rules: 该属性为一个通过正则表达式定义的Rule对象元组，用于告知爬虫需要跟踪哪些链接以及哪些链接包含抓取的有用内容。
以上就是python Scrapy框架原理解析的详细内容，更多关于Scrapy框架原理的资料请关注脚本之家其它相关文章！
相关文章
这篇文章主要介绍了Python实现的多线程http压力测试代码,结合实例形式分析了Python多线程操作的相关实现技巧,需要的朋友可以参考下2017-02-02
这篇文章主要介绍了Python实现求解一元二次方程的方法,涉及Python基于math包进行数值运算相关操作技巧,需要的朋友可以参考下2018-06-06
今天小编就为大家分享一篇python-docx文件定位读取过程(尝试替换)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要为大家详细介绍了Python管理Windows服务的小脚本，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-03-03
JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式,下面这篇文章主要给大家介绍了关于Python解析JSON数据的基本方法,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-01-01
python datatable库大型数据集和多核数据处理使用探索
这篇文章主要介绍了python datatable库大型数据集和多核数据处理使用探索,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
在开发Python程序的时候，有时候可能需要在不同版本的Python上进行测试。pyenv就是这么一个管理多版本Python的工具，今天给大家分享Python版本管理工具Pyenv使用，感兴趣的朋友一起看看吧2021-06-06
今天小编就为大家分享一篇python 找出list中最大或者最小几个数的索引方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
imutils是在OPenCV基础上的一个封装，达到更为简结的调用OPenCV接口的目的，它可以轻松的实现图像的平移，旋转，缩放，骨架化等一系列的操作。本文将用其实现图像的旋转操作，感兴趣的可以学习一下2022-05-05
这篇文章主要介绍了基于python3 的百度图片下载器的实现代码,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-11-11
最新评论