Python使用grequests(gevent+requests)并发发送请求过程解析
前言
requests是Python发送接口请求非常好用的一个三方库，由K神编写，简单，方便上手快。但是requests发送请求是串行的，即阻塞的。发送完一条请求才能发送另一条请求。
为了提升测试效率，一般我们需要并行发送请求。这里可以使用多线程，或者协程，gevent或者aiohttp，然而使用起来，都相对麻烦。
grequests是K神基于gevent+requests编写的一个并发发送请求的库,使用起来非常简单。
安装方法： pip install gevent grequests
项目地址：https://github.com/spyoungtech/grequests
grequests简单使用
首先构造一个请求列表，使用grequests.map()并行发送，得到一个响应列表。示例如下。
import grequests
req_list = [ # 请求列表
grequests.get('http://httpbin.org/get?a=1&b=2'),
grequests.post('http://httpbin.org/post', data={'a':1,'b':2}),
grequests.put('http://httpbin.org/post', json={'a': 1, 'b': 2}),
]
res_list = grequests.map(req_list) # 并行发送，等最后一个运行完后返回
print(res_list[0].text) # 打印第一个请求的响应文本
grequests支持get、post、put、delete等requests支持的HTTP请求方法，使用参数和requests一致，发送请求非常简单。
通过遍历res_list可以得到所有请求的返回结果。
grequests和requests性能对比
我们可以对比下requests串行和grequests并行请求100次github.com的时间，示例如下。
使用requests发送请求
import requests
import time
start = time.time()
res_list = [requests.get('https://github.com') for i in range(100)]
print(time.time()-start)
实际耗时约100s+
使用grequests发送
import grequests
import time
start = time.time()
req_list = [grequests.get('https://github.com') for i in range(100)]
res_list = grequests.map(req_list)
print(time.time()-start)
实际耗时约3.58s
异常处理
在批量发送请求时难免遇到某个请求url无法访问或超时等异常，grequests.map()方法还支持自定义异常处理函数，示例如下。
import grequests
def err_handler(request, exception):
print("请求出错")
req_list = [
grequests.get('http://httpbin.org/delay/1', timeout=0.001), # 超时异常
grequests.get('http://fakedomain/'), # 该域名不存在
grequests.get('http://httpbin.org/status/500') # 正常返回500的请求
]
res_list = grequests.map(reqs, exception_handler=err_handler)
print(res_list)
运行结果：
请求出错 请求出错 [None, None, <Response [500]>]
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要给大家介绍了关于Python第三方库安装缓慢的解决方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-02-02
数据导入是所有数模编程的第一步，比你想象的更重要。Python 语言中数据导入的方法很多。对于数学建模问题编程来说，选择什么方法最好呢？答案是：没有最好的，只有最合适的。对于不同的问题，不同的算法，以及所调用工具包的不同实现方法，对于数据就会有不同的要求2021-06-06
这篇文章主要介绍了python文件特定行插入和替换实例详解的相关资料,需要的朋友可以参考下2017-07-07
Python操作PostgreSQL数据库的基本方法(增删改查)
PostgreSQL数据库是最常用的关系型数据库之一,最吸引人的一点是它作为开源数据库且具有可拓展性,能够提供丰富的应用,这篇文章主要给大家介绍了关于Python操作PostgreSQL数据库的基本方法,文中介绍了连接PostgreSQL数据库,以及增删改查,需要的朋友可以参考下2023-09-09
这篇文章主要介绍了Python编程之微信推送模板消息功能,结合实例形式分析了Python微信推送消息接口的调用相关操作技巧,需要的朋友可以参考下2017-08-08
这几天做自动化测试,遇到一个问题,那就是接口的请求的密码是加密的,产品的要求是不能使用使用其他特殊手段,他给提供加密算法,需要在接口请求的时候,使用加密算法处理后的数据传参,本文主要是整理了几个加密算法,以便后续测试使用,需要的朋友可以参考下2023-12-12
这篇文章主要介绍了OpenCV基本操作之图像轮廓，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-09-09
这篇文章主要介绍了PyQt 图解Qt Designer工具的使用方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-08-08
通过Python实现对SQL Server 数据文件大小的监控告警功能
这篇文章主要介绍了通过Python实现对SQL Server 数据文件大小的监控告警,本文给大家分享问题报错信息及解决方案，需要的朋友可以参考下2021-04-04
这篇文章主要介绍了Python实现列表转换成字典数据结构的方法,结合实例形式分析了Python数值类型转换的相关技巧,需要的朋友可以参考下2016-03-03
最新评论