如何向scrapy中的spider传递参数的几种方法
更新时间：2020年11月18日 11:20:41 作者：bluespacezero
这篇文章主要介绍了如何向scrapy中的spider传递参数的几种方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
有时需要根据项目的实际需求向spider传递参数以控制spider的行为，比如说，根据用户提交的url来控制spider爬取的网站。在这种情况下，可以使用两种方法向spider传递参数。
第一种方法，在命令行用crawl控制spider爬取的时候，加上-a选项，例如：
scrapy crawl myspider -a category=electronics
然后在spider里这样写：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
def __init__(self, category=None, *args, **kwargs):
super(MySpider, self).__init__(*args, **kwargs)
self.start_urls = ['http://www.example.com/categories/%s' % category]
# ...
也就是在spider的构造函数里加上带入的参数即可。
第二种方法，在用scrapyd控制spider的时候，可以向schedule.json发送-d选项加入参数，同样的，也需要在spider的构造函数里如上写法。例如：
$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1
另外，如果需要在scrapy发出的request上加入参数，可以使用request的meta参数，然后就可以相应的在返回的respose对象中获得传入的参数。这在某些情况下相当有用，比如说需要确定这个url是哪个用户请求爬取的，可以先用上面两种方法之一将信息传递给spider，spider就可以把这个信息加入到request中，然后在相应的reponse中就可以将这个信息与从url的页面中获得的信息一起存入数据库。例如：
def parse_page1(self, response):
item = MyItem()
item['main_url'] = response.url
request = scrapy.Request("http://www.example.com/some_page.html",
callback=self.parse_page2)
request.meta['item'] = item
return request
def parse_page2(self, response):
item = response.meta['item']
item['other_url'] = response.url
return item
到此这篇关于如何向scrapy中的spider传递参数的几种方法的文章就介绍到这了,更多相关scrapy spider传递参数内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
不过下面可是我们开发产品初期的一些血淋淋的案例，更多的安全威胁可以看看北北同学的《python hack》PPT，里面提及了不只命令执行的威胁，那些都是我们亲身经历的代码2013-02-02
这篇文章主要介绍了pandas中的数据去重处理的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
今天小编就为大家分享一篇Python读取txt内容写入xls格式excel中的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
这篇文章主要介绍了详解pandas的外部数据导入与常用方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-05-05
这篇文章主要介绍了Python的列表和列表算法，小编感觉这篇文章具有一定参考价值，需要的朋友可以了解下，希望能给你带来帮助2021-08-08
本篇文章主要介绍了Python遍历文件夹和读写文件的实现方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-05-05
今天小编就为大家分享一篇关于使用Python批量修改文件名的代码实例，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-01-01
Python使用cx_Oracle模块操作Oracle数据库详解
这篇文章主要介绍了Python使用cx_Oracle模块操作Oracle数据库,结合实例形式较为详细的分析了cx_Oracle模块的下载、安装及针对Oracle数据库的连接、执行SQL语句、存储过程等相关操作技巧,需要的朋友可以参考下2018-05-05
在本篇文章里小编给大家整理的是一篇关于Python3爬虫中关于Ajax分析方法的总结，需要的朋友们可以学习下。2020-07-07
这篇文章主要介绍了Python自然语言处理之词干,词形与MaxMatch算法代码详解，涉及词干提取，词形还原，简单总结了二者的区别和联系，最后还分享了最大匹配算法的相关示例，具有一定参考价值，需要的朋友可以了解下。2017-11-11
最新评论