fastapi框架异步执行踩坑记录
fastapi框架异步执行踩坑
问题与背景
在公司项目中，使用了python作为中间件实现的主语言，项目是中间件性质的需要并行的为第三方提供服务，但是在使用过程中，出现了并行的问题，多个耗时操作，在串行，导致项目的分析操作耗时巨大。
web技术采用的是fastapi，这个技术官网介绍是并行的，用java起多线程访问接口，得到的结论竟然是串行的，这地方就特意研究了一下。
最佳实践
这篇文章，给我答疑解惑了：https://www.jb51.net/python/323052zd6.htm
我在项目中，翻了一个使用的错误，类似的方式如下：
@router.get("/a")
async def a():
time.sleep(1)
return {"message": "异步模式，但是同步执行sleep函数，执行过程是串行的"}这种写法在于接口访问是异步的，但是执行的时候却是在主线程中，用同步的方法，就导致了串行了。
所以async和await应该是成对出现的，否则就不是绝对的异步：
import asyncio
@router.get("/b")
async def b():
loop = asyncio.get_event_loop()
result = await loop.run_in_executor(None, time.sleep, 1)
return {"message": "线程池中运行sleep函数"}这种方案接口可以异步调用，并且接口中的内容也会被异步执行，在实际使用中，可以对方法中的内容进行封装，然后通过loop.run_in_executor去异步调用封装的一个方法，最终实现绝对的异步。
fastapi的异步大骗/局
有部分入坑fastapi的同志们，可能经常会遇到一个耗时的密集型IO任务阻塞主线程的情况，导致接口单个接口占用整体的线程时间过长，从而影响到其他的接口响应。
很多人可能会说，fastapi不是一个异步的框架吗？为什么会存在阻塞这个问题？
这是一个很好的问题，我之前也想过这个问题，但是后面才发现，原来是fastapi框架的接口，本身不会自动帮忙处理长耗时的任务，如生成式的请求，调用复杂的第三方api，这个过程大概需要10-20s。
假如说自己使用的http请求是直接requests库的请求，那么就会导致阻塞。
正确的做法应该是：
使用一个异步执行的请求方式，例如aiohttp库，手动为请求添加上这个异步的请求方法，我就是使用这个库解决了长耗时任务阻塞线程的问题。
首先得安装好这个库：
pip install aiohttp
然后就再代码当中
from fastapi import FastAPI
import aiohttp
import asyncio
app = FastAPI()
async def long_running_task(url: str):
async with aiohttp.ClientSession() as session:
async with session.post(url, json={"load": "data"}) as response:
# 处理响应数据
data = await response.json()
return data
@app.post("/start_task/")
async def start_task():
url = "http://example.com/api" # 目标 API 的 URL
task_result = await long_running_task(url)
return task_result这样，这个长任务就不会阻塞主线程了。
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了dict()的操作方法,由于dict的很多方法跟list类似，所以在详细介绍dict的同时，也跟list做了对比，是篇非常不错的文章，有需要的朋友参考下2014-09-09
这篇文章主要介绍了python实现红包裂变算法的相关资料,需要的朋友可以参考下2016-02-02
这篇文章主要介绍了如何对numpy 矩阵进行通道间求均值，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-05-05
这篇文章主要为大家详细介绍了python树形打印目录结构的相关代码，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-03-03
这篇文章主要为大家介绍了Python算法思想集结深入理解动态规划详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-09-09
这篇文章主要介绍了Python字符串内置函数功能与用法,结合实例形式总结分析了Python常见字符串操作函数的功能、分类、使用方法及相关操作注意事项,需要的朋友可以参考下2019-04-04
今天小编就为大家分享一篇将python图片转为二进制文本的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了利用Python 代码实现加密通信，本文用 20 行 Python 代码来演示加密、解密、签名、验证的功能。大家依样画葫芦，不仅能理解加密技术，更能自己实现一套加密通信机制,需要的朋友可以参考一下2022-03-03
本系列为Python学习相关笔记整理所得，IT人，多学无害，多多探索，激发学习兴趣，开拓思维，不求高大上，只求懂点皮毛，作为知识储备，不至于落后太远。本文主要介绍Python的相关背景，环境搭建。2014-06-06
在本篇文章里小编给大家分享的是关于python3.x中安装web.py步骤方法，需要的朋友们可以学习下。2020-06-06
最新评论