解决Python爬虫错误之twisted.web.error.SchemeNotSupported: Unsupported scheme: b''

 更新时间:2024年02月08日 09:50:22   作者:流云浅暮  
这篇文章主要介绍了解决Python爬虫错误之twisted.web.error.SchemeNotSupported: Unsupported scheme: b''问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

Python爬虫错误twisted.web.error.SchemeNotSupported: Unsupported scheme: b''

在使用scrapy爬虫时,出现了下面了的错误

Traceback (most recent call last):
  File "E:\project\venv\lib\site-packages\twisted\internet\defer.py", line 1416, in _inlineCallbacks
    result = result.throwExceptionIntoGenerator(g)
  File "E:\project\venv\lib\site-packages\twisted\python\failure.py", line 491, in throwExceptionIntoGenerator
    return g.throw(self.type, self.value, self.tb)
  File "E:\project\venv\lib\site-packages\scrapy\core\downloader\middleware.py", line 43, in process_request
    defer.returnValue((yield download_func(request=request,spider=spider)))
  File "E:\project\venv\lib\site-packages\scrapy\utils\defer.py", line 45, in mustbe_deferred
    result = f(*args, **kw)
  File "E:\project\venv\lib\site-packages\scrapy\core\downloader\handlers\__init__.py", line 65, in download_request
    return handler.download_request(request, spider)
  File "E:\project\venv\lib\site-packages\scrapy\core\downloader\handlers\http11.py", line 67, in download_request
    return agent.download_request(request)
  File "E:\project\venv\lib\site-packages\scrapy\core\downloader\handlers\http11.py", line 331, in download_request
    method, to_bytes(url, encoding='ascii'), headers, bodyproducer)
  File "E:\project\venv\lib\site-packages\scrapy\core\downloader\handlers\http11.py", line 252, in request
    proxyEndpoint = self._getEndpoint(self._proxyURI)
  File "E:\project\venv\lib\site-packages\twisted\web\client.py", line 1635, in _getEndpoint
    return self._endpointFactory.endpointForURI(uri)
  File "E:\project\venv\lib\site-packages\twisted\web\client.py", line 1513, in endpointForURI
    raise SchemeNotSupported("Unsupported scheme: %r" % (uri.scheme,))
twisted.web.error.SchemeNotSupported: Unsupported scheme: b''

原因

经调查是在下载中间件中设置代理是出现了错误:

class IpProxyDownloadMiddleware(object):
    PROXIES = ['110.52.235.131:9999','110.52.235.249:9999','112.17.38.141:3128']
 
    def process_request(self,request,spider):
        proxy = random.choice(self.PROXIES)
        request.meta['proxy'] = proxy

解决

在上面的下载中间件中设置代理时,需要添加协议名称,“http://”或者“https://”。

如下:

class IpProxyDownloadMiddleware(object):
    PROXIES = ['110.52.235.131:9999','110.52.235.249:9999','112.17.38.141:3128']
 
    def process_request(self,request,spider):
        proxy = random.choice(self.PROXIES)
        request.meta['proxy'] = 'http://'+proxy

问题成功解决。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • pytorch中的广播语义

    pytorch中的广播语义

    这篇文章主要介绍了pytorch中的广播语义,pytorch的广播语义即broadcasting semantics,和numpy的很像,下面文章介绍更多相关内容的介绍,需要的小伙伴可以参考一下
    2022-03-03
  • python中yield的用法详解

    python中yield的用法详解

    这篇文章主要介绍了python中yield的用法详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01
  • 关于PyTorch环境配置及安装教程(Windows10)

    关于PyTorch环境配置及安装教程(Windows10)

    这篇文章主要介绍了关于PyTorch环境配置及安装教程(Windows10),具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-07-07
  • python简介及下载安装

    python简介及下载安装

    这篇文章介绍了python以及下载安装的方法,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2022-06-06
  • django之状态保持-使用redis存储session的例子

    django之状态保持-使用redis存储session的例子

    今天小编就为大家分享一篇django之状态保持-使用redis存储session的例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-07-07
  • python 元组的使用方法

    python 元组的使用方法

    这篇文章主要介绍了python 元组的使用方法,文中讲解非常细致,代码帮助大家更好的参考和学习,感兴趣的朋友可以了解下
    2020-06-06
  • Python列表推导式的基本操作详解

    Python列表推导式的基本操作详解

    Python 的列表推导式,这个看似简单的语法糖,实则内含无限威力,本文将从基础的概念认识,到各类进阶的用法和操作,更深入地探讨列表推导式,希望对大家有所帮助
    2023-06-06
  • python保留小数位的三种实现方法

    python保留小数位的三种实现方法

    本文给大家分享python保留小数位的三种方法,代码简单易懂,非常不错,具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-01-01
  • python的描述器descriptor详解

    python的描述器descriptor详解

    这篇文章主要介绍了python的描述器descriptor详解,描述器可以用于控制属性的读取、写入和删除等操作,同时还可以用于实现计算属性、类属性、属性别名等高级功能,需要的朋友可以参考下
    2023-07-07
  • 用python实现前向分词最大匹配算法的示例代码

    用python实现前向分词最大匹配算法的示例代码

    这篇文章主要介绍了用python实现前向分词最大匹配算法的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-08-08

最新评论