Celery批量异步调用任务一直等待结果问题
更新时间：2023年11月24日 09:36:41 作者：lee_star1
这篇文章主要介绍了Celery批量异步调用任务一直等待结果问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
Celery批量异步调用任务一直等待结果
采用celery中group方式进行批量异步调用，且需要等待返回结果时（未设置超时时间）
两种情况会导致任务一直等待结果：
1. 如果异步方法对异常未进行处理
直接抛出，则会导致group的job一直等待结果，如下代码：
@shared_task(bind=True)
def test_task_method(self, number, is_ignore_exception):
try:
logger.info('enter method')
# if number % 10 == 0:
# raise Exception('throw exception')
time.sleep(15)
except Exception:
logger.info(traceback.format_exc())
if not is_ignore_exception:
raise2. celery出现任务task丢失情况
实际执行任务与期待任务数量不符合，则会一直等待结果。因为可能部分开发者对查看Broker和celery执行的情况命令不熟悉，这里推荐安装Flower监控celery，文档参考Flower文档。
在执行中观察celery是否掉线，
如下图：
如果出现掉线，则查看celery日志或者系统日志（/var/log/message）查看是存在进程被kill情况，
如下图：
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
Python运行出现DeprecationWarning的问题及解决
这篇文章主要介绍了Python运行出现DeprecationWarning的问题及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-07-07
这篇文章主要介绍了python求解水仙花数的方法,较为详细的分析了水仙花数问题的概念与对应解决方法的实现技巧,需要的朋友可以参考下2015-05-05
这篇文章主要介绍了Django执行源生mysql语句实现过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-11-11
这篇文章主要介绍了VS2022安装Python开发环境,文中用Python实现裴波那契数列，来感受一下Python的魅力，结合实例代码给大家介绍的非常详细，需要的朋友可以参考下2022-08-08
在本篇文章里小编给大家整理了一篇关于python简单实现插入排序实例代码，有需要的朋友们可以学习参考下。2020-12-12
今天小编就为大家分享一篇Python 实现训练集、测试集随机划分，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-01-01
这篇文章主要介绍了Python通过zookeeper实现分布式服务代码解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
这篇文章主要介绍了pandas如何读取含有中文的excel问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
本文主要介绍了Numpy数组的切片索引操作，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-06-06
今天小编就为大家分享一篇用python代码将tiff图片存储到jpg的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
最新评论