Python Multiprocessing多进程 使用tqdm显示进度条的实现
更新时间：2019年08月13日 14:19:43 作者：SiyuanChen
这篇文章主要介绍了Python Multiprocessing多进程 使用tqdm显示进度条的实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
1.背景
在python运行一些，计算复杂度比较高的函数时，服务器端单核CPU的情况比较耗时，因此需要多CPU使用多进程加快速度
2.函数要求
笔者使用的是：pathos.multiprocessing 库，进度条显示用tqdm库，安装方法：
pip install pathos
安装完成后
from pathos.multiprocessing import ProcessingPool as Pool from tqdm import tqdm
这边使用pathos的原因是因为，multiprocessing 库中的Pool 函数只支持单参数输入，例如 f(x) = x**2，而不能处理 f (x,y) = x+y 这类的函数
更不用说一些需要参数的函数 例如：F(x , alpha=0.5, gamma = 0.1) 这样。
3.代码
定义一个 函数 F [ X ] ,其中，输入X是可以在第一个维度上迭代的array, 大小：[ num_X, len ] , 在第一维度 num_X 上进行迭代。
def F(X,lamda=10,weight=0.05):
res={}
res.update(F_1(X,lamda=lamda,weight=weight))
res.update(F_2(X,lamda=lamda,weight=weight))
return res
x 是 F 的输出，是一个dict (字典格式)
这里的两个函数超参数 lamda 和 weight 虽然每次调用的时候值是一样的，但是还是需要放一个数组每次用于迭代。
zip_lamda = [lamda for i in range(len(X)) ]
zip_weight = [weight for i in range(len(X)) ]
with tqdm(total=len(cold_sequences)) as t:
for i, x in enumerate(pool.imap(F,X,zip_lamda,zip_weight)):
X[i,:] = [x[key] for key in x.keys()]
Y[i,] = 0
t.update()
pool.close()
pool.join()
4.结果
mutiprocess 加速前
mutiprocess 加速后
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python入门教程(十六)Python的if逻辑判断分支,Python是一门非常强大好用的语言,也有着易上手的特性,本文为入门教程,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了通过Python编写一个简单登录功能过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-09-09
数据导入是所有数模编程的第一步，比你想象的更重要。Python 语言中数据导入的方法很多。对于数学建模问题编程来说，选择什么方法最好呢？答案是：没有最好的，只有最合适的。对于不同的问题，不同的算法，以及所调用工具包的不同实现方法，对于数据就会有不同的要求2021-06-06
最近在使用python做接口测试，发现python中http请求方法有许多种，今天抽点时间把相关内容整理，对python http请求相关知识感兴趣的朋友一起学习吧2016-01-01
今天小编就为大家分享一篇对Python获取屏幕截图的4种方法详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
这篇文章主要介绍了Python写的创建文件夹自定义函数mkdir(),文件夹操作是编程中经常需要的,mkdir函数更是经典中的经典,需要的朋友可以参考下2014-08-08
这篇文章主要介绍了Go语言基于Socket编写服务器端与客户端通信的实例,包括实现基于自定义通讯协议的Socket通信,需要的朋友可以参考下2016-02-02
这篇文章主要为大家详细介绍了wxPython实现画图板，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-11-11
Python的最大优势之一是其广泛的模块和软件包。这将Python的功能扩展到许多受欢迎的领域，包括机器学习、数据科学和Web开发等, 其中最好的模块之一是Python的内置collections 模块。2021-04-04
大家好，本篇文章主要讲的是用python实现九九乘法表实例，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-01-01
最新评论