python爬虫快速响应服务器的做法
更新时间：2020年11月24日 14:48:28 作者：小妮浅浅
在本篇文章里小编给大家整理的是一篇关于python爬虫快速响应服务器的做法，需要的朋友们可以参考下。
不论是打开网页或者爬取一些资料的时候，我们想要的是计算机能在最短的时间内运行出结果，不然等待的时间过长会影响下一步工作的计划。这时候我们可以给计算机一个指令，限制最久能等待的时间，在我们能接受的时间内运行出结果。那么这个指令方法是什么呢？接下来我们一起看看吧。
requests之所以称为“HTTP for human”，因为其封装层次很高，其中一处体现就在：requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候，搜狗搜索列表页面的公众号文章地址，其实不是微信的地址而需要请求到搜狗到服务器做重定向，而requests的默认处理则是将整个过程全部搞定，对此可以这样：
In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)
allow_redirects参数为False则表示不会主动重定向。
另外，有时候对方网站的响应时间太长了，我们希望在指定时间内完事，或者直接停止这个请求，这时候的做法是：
In [1]: r = requests.get('http://xlzd.me', timeout＝3)
timeout表示这次请求最长我最长只等待多少秒
拓展：
为requests套上一层代理的做法也非常简单：
import requests
proxies = {
"http": "http://192.168.31.1:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://xlzd.me", proxies=proxies)
到此这篇关于python爬虫快速响应服务器的做法的文章就介绍到这了,更多相关python爬虫中如何快速响应服务器内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Python 两个列表的差集、并集和交集实现代码,需要的朋友可以参考下2016-09-09
这篇文章主要介绍了python如果快速判断数字奇数偶数,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-11-11
python初学者，用python实现基本的学生管理系统（python3）代码实例
这篇文章主要介绍了用python实现学生管理系统，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-04-04
这篇文章主要介绍了使用Python实现跳帧截取视频帧，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-05-05
在本篇文章里小编给大家整理了关于Python正则表达式的一些基础知识点以及相关用法实例内容，需要的朋友们可以参考下。2021-12-12
数据可视化是指用图形或表格的方式来呈现数据。图表能够清楚地呈现数据性质， 以及数据间或属性间的关系。本文为大家分享了几个Python数据可视化绘图的实例，感兴趣的可以了解一下2022-05-05
这篇文章主要介绍了Numpy 理解ndarray对象的示例代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-04-04
这篇文章主要介绍了Python 实现将某一列设置为str类型，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-07-07
unittest+coverage单元测试代码覆盖操作实例详解
这篇文章主要为大家详细介绍了unittest+coverage单元测试代码覆盖操作的实例，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-04-04
Python中的取模运算符是%,它与其他语言中的取余符号相同,整除运算符是//,表示向下取整,在Python中,正数的取余和取模结果相同,但负数的取余和取模结果有所不同,取余运算在计算时向0方向舍弃小数位,而取模运算向负无穷方向舍弃小数位2024-10-10
最新评论