对python使用http、https代理的实例讲解
更新时间：2018年05月07日 09:45:43 作者：wanghong5211
今天小编就为大家分享一篇对python使用http、https代理的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
在国内利用Python从Internet上爬取数据时，有些网站或API接口被限速或屏蔽，这时使用代理可以加速爬取过程，减少请求失败，Python程序使用代理的方法主要有以下几种：
（1）如果是在代码中使用一些网络库或爬虫框架进行数据爬取，一般这种框架都会支持设置代理，例如：
<span style="font-size:14px;">import urllib.request as urlreq
# 设置https代理
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'})
oper = urlreq.build_opener(ph)
# 将代理安装到全局环境，这样所有请求都会自动使用代理
urlreq.install_opener(oper)
res = oper.open("https://www.google.com")
print(res.read())</span>
<span style="font-size:14px;">import requests as req
print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>
（2）如果使用的库没有提供设置代理的接口，但是底层使用了urllib、requests等库，可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量，常用的网络库会自动识别这些环境变量，使用变量设置的代理发起请求，设置如下：
import os os.environ['http_proxy'] = 'http://127.0.0.1:1080' os.environ['https_proxy'] = 'https://127.0.0.1:1080'
（3）如果上述两种方法都没有用，那么还可以使用一些可以监听、拦截和修改网络包的工具和库如（Fiddler、mitmproxy）来拦截http请求包并修改地址，达到使用代理的效果。
以上这篇对python使用http、https代理的实例讲解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章分享了python查找第k小的元素程序代码，大家参考使用吧2013-12-12
这篇文章主要介绍了pyqt4的widget使用示例,需要的朋友可以参考下2014-03-03
CSV即逗号分隔值（也称字符分隔值,因为分隔符可以不是逗号）,是一种常用的文本格式,用以存储表格数据,包括数字或者字符,下面这篇文章主要给大家介绍了关于python基础教程之csv文件的写入与读取的相关资料,需要的朋友可以参考下2022-08-08
这篇文章主要介绍了Python如何将jpg图像修改大小并转换为png问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
这篇文章主要介绍了Python中反转二维数组的行和列问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-01-01
Python读取多列数据以及用matplotlib制作图表方法实例
这篇文章主要给大家介绍了关于Python读取多列数据以及用matplotlib制作图表的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-09-09
这篇文章主要介绍了pandas DataFrame 行列索引及值的获取的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
利用Python实现字幕挂载(把字幕文件与视频合并)思路详解
这篇文章主要介绍了如何利用Python实现字幕挂载，把字幕文件与视频合并,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-10-10
Python元组 tuple的概念与基本操作详解【定义、创建、访问、计数、推导式等】
这篇文章主要介绍了Python元组 tuple的概念与基本操作,结合实例形式详细分析了Python元组的定义、创建、访问、计数、推导式等常见操作技巧与操作注意事项,需要的朋友可以参考下2019-10-10
上次实现的校园网IP网关登录器其中一个关键部分就是提交登录网页的表单,下面是我的Python实现代码2009-02-02
最新评论