python多进程执行方法apply_async使用说明

更新时间：2021年03月05日 09:52:46 作者：yyyyyyyyyyang

这篇文章主要介绍了python多进程执行方法apply_async使用说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

apply_async简介

python在同一个线程中多次执行同一方法时，该方法执行耗时较长且每次执行过程及结果互不影响，如果只在主进程中执行，效率会很低，因此使用multiprocessing.Pool(processes=n)及其apply_async()方法提高程序执行的并行度从而提高程序的执行效率,其中processes=n为程序并行执行的进程数。

apply_async使用简明代码

import multiprocessing
#method为多次调用的方法
def method(param):
 pass
if __name__ == '__main__':
 pool = multiprocessing.Pool(processes=5)
 params= ['param1', 'param2', 'param3', 'param4', 'param5']
 for param in params:
  pool.apply_async(method, args=(param, )) 
 pool.close()

使用总结：

apply_async是异步非阻塞式，不用等待当前进程执行完毕，随时跟进操作系统调度来进行进程切换，即多个进程并行执行，提高程序的执行效率。

补充：记录python multiprocessing Pool的map和apply_async方法

遇到的问题

在学习python多进程时，进程上运行的方法接收多个参数和多个结果时遇到了问题，现在经过学习在这里总结一下

Pool.map()多参数任务

在给map方法传入带多个参数的方法不能达到预期的效果，像下面这样

def job(x ,y):
 return x * y
if __name__ == "__main__":
 pool = multiprocessing.Pool()
 res = pool.map(job, 2, 3)
 print res

所以只能通过对有多个参数的方法进行封装，在进程中运行封装后的方法如下

def job(x ,y):
 return x * y
def job1(z):
 return job(z[0], z[1])
if __name__ == "__main__":
 pool = multiprocessing.Pool()
 res = pool.map(job1, [(2, 3), (3, 4)])
 print res

这样就能达到传递多个参数的效果

ps：如果需要得到多个结果可以传入多个元组在一个列表中

Pool.apply_async()输出多个迭代结果

在使用apply_async()方法接收多个参数的方法时，在任务方法中正常定义多个参数，参数以元组形式传入即可

但是给apply_async()方法传入多个值获取多个迭代结果时就会报错，因为该方法只能接收一个值，所以可以将该方法放入一个列表生成式中，如下

def job(x):
 return x * x
if __name__ == "__main__":
 pool multiprocessing.Pool()
 res = [pool.apply_async(target=job, (i,)) for i in range(3)]
 print [r.get() for r in res]

python 3中提供了starmap和startmap_async两个方法

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。

您可能感兴趣的文章:

python Sweetviz探索性数据可视化分析库使用特征详解
这篇文章主要为大家介绍了python Sweetviz探索性数据可视化分析库特征使用详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2024-01-01
利用Vscode进行Python开发环境配置的步骤
这篇文章主要给大家介绍了关于如何利用Vscode进行Python开发环境配置的相关资料，文中通过示例代码介绍的非常详细，对大家学习或者使用Python具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
2020-06-06
基于matplotlib xticks用法详解
这篇文章主要介绍了基于matplotlib xticks用法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-04-04
Python常见反爬虫机制解决方案
这篇文章主要介绍了Python常见反爬虫机制解决方案,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-06-06
Django异步任务线程池实现原理
这篇文章主要介绍了Django异步任务线程池实现原理,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-12-12
基于Python制作简单的音乐播放器
这篇文章主要为大家详细介绍了如何基于Python制作简单的音乐播放器,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以了解下
2024-02-02
关于Python中*args和**kwargs的深入理解
这篇文章主要给大家介绍了关于Python中*args和**kwargs的相关资料,*args和**kwargs代表的是变量, 变量前面的 *(星号)才是必须的,也可以写成*v和**vs;写成*args和**kwargs只是一个常用的书写方式,需要的朋友可以参考下
2021-08-08
使用python绘制温度变化雷达图
这篇文章主要为大家介绍了使用python绘制温度变化雷达图，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2019-10-10
Python图像处理之Hough变换检测直线
霍夫变换是一种特征检测(feature extraction)，被广泛应用在图像分析，本文将利用Hough变换实现直线检测，感兴趣的小伙伴可以了解一下
2023-07-07
python如何将文件a.txt的内容复制到b.txt中
这篇文章主要介绍了python如何将文件a.txt的内容复制到b.txt中，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-12-12