python aiohttp创建很多线程的问题及解决

更新时间：2024年06月27日 10:56:20 作者：Mr_Ershat

这篇文章主要介绍了python aiohttp创建很多线程的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

python aiohttp创建很多线程

最近使用 python aiohttp 进行异步的发送请求，在命令行中用py-spy 来监控了一下发现运行python程序创建了 125 线程，吓了我一跳。

解决

Google了很久找到解决方法了。

原因

每次发送请求时 aiohttp.ClientSession 查询dns 。这个查询dns是阻塞的，所以它每次查询dns时开启一个线程的。

所以我在代码里给它指定了 dns查询对象起作用了。

from aiohttp.resolver import AsyncResolver
resolver = AsyncResolver()
tcp_conn = aiohttp.TCPConnector(resolver=resolver)
async with aiohttp.ClientSession(connector=tcp_conn) as session:
	await process_spider(spider, session)

运行程序时有可能提示需要aiodns. 安装即可: pip install aiodns .

python aiohttp模块使用

asyncio可以实现单线程并发IO操作。如果仅用在客户端，发挥的威力不大。

如果把asyncio用在服务器端，例如Web服务器，由于HTTP连接就是IO操作，因此可以用单线程+coroutine实现多用户的高并发支持。

asyncio实现了TCP、UDP、SSL等协议，aiohttp则是基于asyncio实现的HTTP框架。

我们先安装aiohttp：

pip install aiohttp

然后编写一个HTTP服务器，分别处理以下URL：

/ - 首页返回b'<h1>Index</h1>'；
/hello/{name} - 根据URL参数返回文本hello, %s!。

代码如下：

import asyncio

from aiohttp import web

async def index(request):
    await asyncio.sleep(0.5)
    return web.Response(body=b'<h1>Index</h1>')

async def hello(request):
    await asyncio.sleep(0.5)
    text = '<h1>hello, %s!</h1>' % request.match_info['name']
    return web.Response(body=text.encode('utf-8'))

async def init(loop):
    app = web.Application(loop=loop)
    app.router.add_route('GET', '/', index)
    app.router.add_route('GET', '/hello/{name}', hello)
    srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000)
    print('Server started at http://127.0.0.1:8000...')
    return srv

loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()

注意aiohttp的初始化函数init()也是一个coroutine，loop.create_server()则利用asyncio创建TCP服务。

总结

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

Python OpenCV基于HSV的颜色分割实现示例
这篇文章主要为大家介绍了Python OpenCV基于HSV的颜色分割实现示例，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-06-06
python使用ctypes调用第三方库时出现undefined symbol错误详解
python中时间的库有time和datetime,pandas也有提供相应的时间处理函数,下面这篇文章主要给大家介绍了关于python使用ctypes调用第三方库时出现undefined symbol错误的相关资料,需要的朋友可以参考下
2023-02-02
python基础之for循环
这篇文章主要介绍了python的for循环,实例分析了Python中返回一个返回值与多个返回值的方法,需要的朋友可以参考下
2021-10-10
详解pycharm配置python解释器的问题
这篇文章主要介绍了安装好Pycharm后如何配置Python解释器简易教程，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-10-10
Python计算两个日期相差天数的方法示例
这篇文章主要介绍了Python计算两个日期相差天数的方法,结合简单实例形式分析了Python日期时间的转换与运算相关操作技巧,需要的朋友可以参考下
2017-05-05
python实现文件分组复制到不同目录的例子
这篇文章主要介绍了python实现文件按组复制到不同目录的例子,需要的朋友可以参考下
2014-06-06
python如何将绘制的图片保存为矢量图格式(svg)
这篇文章主要介绍了python如何将绘制的图片保存为矢量图格式(svg)问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-09-09
Python 中使用 Selenium 单击网页按钮功能
Selenium是一个用于测试网站的自动化测试工具,支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器,同时也支持phantomJS无界面浏览器,本篇文章将介绍如何在 Python 中使用 selenium 单击网页上的按钮,感兴趣的朋友一起看看吧
2023-11-11
Scrapy抓取京东商品、豆瓣电影及代码分享
Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
2017-11-11
Deepsort + Yolo 实现行人检测和轨迹追踪的方法
这篇文章主要介绍了Deepsort + Yolo 实现行人检测和轨迹追踪,本项目通过采用深度学习方法实现YOLO算法行人检测和deepsort算法对人员定位的和轨迹跟踪，需要的朋友可以参考下
2021-09-09