Python使用scrapy采集时伪装成HTTP/1.1的方法
更新时间：2015年04月08日 10:18:35 作者：pythoner
这篇文章主要介绍了Python使用scrapy采集时伪装成HTTP/1.1的方法,实例分析了scrapy采集的使用技巧,非常具有实用价值,需要的朋友可以参考下
本文实例讲述了Python使用scrapy采集时伪装成HTTP/1.1的方法。分享给大家供大家参考。具体如下：
添加下面的代码到 settings.py 文件
复制代码 代码如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.HTTPClientFactory'
保存以下代码到单独的.py文件
复制代码 代码如下:
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class PageGetter(ScrapyHTTPPageGetter):
def sendCommand(self, command, path):
self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
protocol = PageGetter
class PageGetter(ScrapyHTTPPageGetter):
def sendCommand(self, command, path):
self.transport.write('%s %s HTTP/1.1\r\n' % (command, path))
class HTTPClientFactory(ScrapyHTTPClientFactory):
protocol = PageGetter
希望本文所述对大家的Python程序设计有所帮助。
相关文章
详解numpy.ndarray.reshape()函数的参数问题
这篇文章主要介绍了详解numpy.ndarray.reshape()函数的参数问题,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-10-10
元类就是类的模板——太形象了了呀，霍霍。2009-12-12
这篇文章主要介绍了Python自动化中三种等待时间方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
R和Python两者谁更适合数据分析领域？在某些特定情况下谁会更有优势？还是一个天生在各方面都比另一个更好？2017-10-10
Python使用multiprocessing模块实现多进程并发处理大数据量的示例代码
这篇文章主要介绍了Python使用multiprocessing模块实现多进程并发处理大数据量的示例代码,本文通过示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧2024-01-01
这篇文章主要介绍了Python实现改变与矩形橡胶的线条的颜色代码示例，具有一定借鉴价值,需要的朋友可以参考下2018-01-01
这篇文章主要介绍了Flask路由尾部加不加斜杠有什么区别，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-09-09
这篇文章介绍了Python格式化输出，主要讲解Python格式化输出的三种方式：%格式化、format格式化、f-String格式化,需要的朋友可以参考下面文章的具体内容2021-09-09
在 Python 中,Matplotlib 是一个强大而灵活的工具,可以用来创建各种类型的数据可视化图表,本文给大家介绍了如何使用Matplotlib创建漂亮的数据可视化图表,文中有详细的代码示例供大家参考,需要的朋友可以参考下2024-04-04
本文主要介绍了简单探讨一下python线程锁，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-04-04
最新评论