Python多进程multiprocessing、进程池用法实例分析

更新时间：2020年03月24日 11:08:04 作者：随风行云

这篇文章主要介绍了Python多进程multiprocessing、进程池用法,结合实例形式分析了Python多进程multiprocessing、进程池相关概念、原理、用法及操作注意事项,需要的朋友可以参考下

本文实例讲述了Python多进程multiprocessing、进程池用法。分享给大家供大家参考，具体如下：

内容相关：

multiprocessing：

进程的创建与运行
进程常用相关函数

进程池：

为什么要有进程池
进程池的创建与运行：串行、并行
回调函数

多进程multiprocessing:

python中的多进程需要使用multiprocessing模块

多进程的创建与运行：

1.进程的创建：进程对象=multiprocessing.Process(target=函数名,args=(参数,))【补充，由于args是一个元组，单个参数时要加“,”】

2.进程的运行: 进程对象.start()

进程的join跟线程的join一样，意义是 “阻塞当前进程，直到调用join方法的那个进程执行完，再继续执行当前进程”

注：在windows中代码中必须使用这个，在Linux 中不需要加这个

import multiprocessing,time,os

def thread_run():
  print(threading.current_thread())

def run(name):
  time.sleep(1)
  print("hello",name,"run in ",os.getpid(),"ppid:",os.getppid())

if __name__=='__main__':#必须加
  obj=[]
  for i in range(10):
    p=multiprocessing.Process(target=run,args=('bob',))
    obj.append(p)
    p.start()
  start_time=time.time()
  for i in obj:
    i.join()
  print("run in main")
  print("spend time :",time.time()-start_time)

与多线程同样的：也可以通过继承multiprocessing的Process来创建进程

继承multiprocessing的Process类的类要主要做两件事：

1.如果初始化自己的变量，则先要调用父类的__init__()【如果不调用，则要自己填写相关的参数，麻烦！】然后做自己的初始化;如果不需要初始化自己的变量，那么不需要重写__init__,直接使用父类的__init__即可【已经继承了】

2.重写run函数

import multiprocessing

class myProcess(multiprocessing.Process):
  def run(self):
    print("run in myProcess")

if __name__=="__main__":
  p=myProcess()
  p.start()
  p.join()

进程常用相关函数：

os.getpid():获取当前进程号。
os.getppid():获取当前进程的父进程号。
进程对象.is_alive():判断进程是否存活

进程对象.terminate():结束进程【不建议的方法，现实少用】

进程池：

为什么需要进程池
- 如果要启动大量的子进程，可以用进程池的方式批量创建子进程，而进程池可以限制运行的进程的数量【有太多人想要游泳，而池子的容量决定了游泳的人的数量
- Pool类可以提供指定数量的进程供用户调用，当有新的请求提交到Pool中时，如果池还没有满，就会创建一个新的进程来执行请求。如果进程池满了，请求就会告知先等待，直到池中有进程结束，才会创建新的进程来执行这些请求

进程池的创建与使用：
- 使用进程池需要导入：from multiprocessing import Pool
- 创建进程池：进程池对象=Pool(容量)
- 给进程池添加进程：
  - 串行：进程池对象.apply(func=函数名,args=(参数,))

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())

if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply(func=func1,args=(i,))#串行,这里是加一个运行完再加一个
   pool.close()#先close再等待
   pool.join()
  print("main run done,spend_time:",time.time()-start_time)

并行：进程池对象.apply_async(func=函数名,args=(参数,),callback=回调函数)

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())


if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply_async(func=func1,args=(i,))#并行
    
  pool.close()#先close再等待
  pool.join()
  print("main run done,spend_time:",time.time()-start_time)#2.6，证明是并行

回调函数的使用：在并行中，支持callback=回调函数，当一个进程执行完毕后会调用该回调函数，并且参数为func中的返回值
注意：回调函数是在父进程中执行的！【当儿子执行完后，会在父亲里调用函数】

from multiprocessing import Pool
import time,os

def func1(i):
  time.sleep(1)
  print("run in process:",os.getpid())
  return "filename"


def log(arg):##参数为进程创建中func的函数的返回值
  print("log done :",arg)

if __name__=="__main__":
  pool=Pool(5)

  start_time = time.time()
  for i in range(10):
    pool.apply_async(func=func1,args=(i,),callback=log,)#log的参数是func1的返回值

  pool.close()#先close再等待
  pool.join()
  print("main run done,spend_time:",time.time()-start_time)

注：对Pool对象调用join()方法会等待所有子进程执行完毕，调用join()之前必须先调用close()，调用close()之后就不能继续添加新的Process了。【意思就是比如游泳池只卖1个小时的票，约定5点关门，那么4点多之后就不能再卖票了，就一直等着游泳池里面的人出来再关门，进程池的close是一个关门的意思，并不是结束的意思，它只是关上了进来的门，而里面的进程还可以运行】【进程池的join是等池子里的所有进程执行完毕，如果后面再进来进程的话就没完没了了，所以需要先关闭进入，再等待进程结束】
- - 小测试：

更多关于Python相关内容感兴趣的读者可查看本站专题：《Python进程与线程操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》、《Python+MySQL数据库程序设计入门教程》及《Python常见数据库操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

您可能感兴趣的文章:

如何完美的建立一个python项目
在本篇文章里小编给大家整理了关于如何完美的建立一个python项目的相关知识点内容，需要的朋友们可以学习下。
2020-10-10
Python应用开发频繁假死的问题分析及解决
最近在开发一款自动化的应用,但是,在测试时,却发现了问题,当我点击暂停任务后,此时子线程被阻塞,如果我这个时候点击停止,那么就会任务结束,之后,如果我再点击开始运行,整个应用就会卡死,所以本文介绍了Python应用开发频繁假死的问题分析及解决,需要的朋友可以参考下
2024-08-08
Python树的序列化与反序列化的实现
在本文中,我们将深入讨论如何实现树的序列化与反序列化算法,提供Python代码实现,并详细说明算法的原理和步骤,感兴趣的可以了解一下
2023-11-11
Micropython固件使用Pico刷固件并配置VsCode开发环境的方法
这篇文章主要介绍了Micropython固件使用Pico刷固件并配置VsCode开发环境的方法，本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧
2021-07-07
Tensorflow训练模型越来越慢的2种解决方案
今天小编就为大家分享一篇Tensorflow训练模型越来越慢的2种解决方案，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-02-02
python读写数据读写csv文件(pandas用法)
这篇文章主要介绍了python读写数据读写csv文件(pandas用法)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2020-12-12
Django框架cookie和session方法及参数设置
这篇文章主要为大家介绍了Django框架cookie和session参数设置及介绍，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-03-03
Python中plt.plot()、plt.scatter()和plt.legend函数的用法示例
今天想要用matplotlib中的plt函数绘制图表,将多个数据曲线在一个图表中进行呈现,下面这篇文章主要给大家介绍了关于Python中plt.plot()、plt.scatter()和plt.legend函数用法的相关资料,需要的朋友可以参考下
2022-03-03
Python使用Mechanize模块编写爬虫的要点解析
这篇文章主要介绍了Python使用Mechanize模块编写爬虫的要点解析,作者还讲解了Mechanize程序占用内存过高问题的相关解决方法,需要的朋友可以参考下
2016-03-03
Python中的json内置库详解
这篇文章主要介绍了Python中的json内置库详解,在学习做自动化测试的过程中,python 里有一个内置的 json 库,必须要学习好,json 是用于存储和交换数据的语法,是一种轻量级的数据交换式使用场景,需要的朋友可以参考下
2023-08-08