Python多进程协作模拟实现流程

 更新时间:2023年01月17日 10:15:46   作者:永远的麦田  
当多个进程使用同一份数据资源的时候,因为进程的运行没有顺序,运行起来也无法控制,如果不加以干预,往往会引发数据安全或顺序混乱的问题,所以要在多个进程读写共享数据资源的时候加以适当的策略,来保证数据的一致性问题

由于python多线程无法发挥多核的作用,因此当计算量很大的时候就需要考虑多进程。

只不过多进程比较麻烦一些,进程中通信向来是一件麻烦事。

python提供了multiprocessing 模块,应该会提供不少便利

假设我们做量化交易需要运行一个算法,针对一只票每运行一次需要30秒,运行完成将结果作为一个因子交给另一个计算模块运行,最后将计算结果统计出来。如果只运行一只票问题不大,大不了等一下就好,同时运行10票的话就很有必然考虑多进程以加快速度。

pro_queue为生产进程的数据队列,生产进程完成生产后将自己相关数据装产pro_queue中

calc_queue为计算进程的数据队列,计算进程先将生产进程的数据通过参数传递的方式获取到,然后进行计算,并将计算结果存入calc_queue中

主进程在最后不断获取计算进程的计算结果,并将其累加,最终获取到一个总的计算结果

生产进程:

def func_a(i, p: queues):
    print(F"第{i}个生产进程: 进程号:{os.getpid()},开始...")
    time.sleep(random.randint(1, 5))
    result = random.randint(50, 100)
    print(F"第{i}个生产进程: 完成。生产结果[{result}]。")
    p.put((i, os.getpid(), result))

计算进程:

def func_b(i, data, q: queues):
    print(F"第{i}个计算进程: 进程号:{os.getpid()}, 数据源{data[0]}:{data[1]}:{data[2]},开始...")
    time.sleep(random.randint(1, 3))
    result = data[2] * 100
    print(F"第{i}个计算进程: 完成。计算结果【{result}】")
    q.put(result)

程序一开始先将生产进程启动起来:其中process_num表示同时启动多少个生产进程

    for i in range(process_num):
        p = Process(target=func_a, args=(i, pro_queue,))
        p.start()

然后不停等待生产进程的结果,每等到一个结果就启动一个计算进程

    for i in range(process_num):
        data = pro_queue.get()
        p = Process(target=func_b, args=(i, data, calc_queue))
        p.start()

最后就是等待计算进程的计算结果

    s = 0
    for i in range(process_num):
        s += calc_queue.get()
    print(F"所有计算完成,总结果:{s}")

补上程序一开始的两个队列的申明:

import multiprocessing
import time
from multiprocessing import Process
from multiprocessing import queues
import random
import os
    pro_queue = queues.Queue(ctx=multiprocessing)
    calc_queue = queues.Queue(ctx=multiprocessing)
    process_num = 5

到此这篇关于Python多进程协作模拟实现流程的文章就介绍到这了,更多相关Python多进程协作内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python判断一个文件夹内哪些文件是图片的实例

    Python判断一个文件夹内哪些文件是图片的实例

    今天小编就为大家分享一篇Python判断一个文件夹内哪些文件是图片的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-12-12
  • Java分治归并排序算法实例详解

    Java分治归并排序算法实例详解

    这篇文章主要介绍了Java分治归并排序算法,结合实例形式详细分析了分治归并排序算法的原理及java实现技巧,需要的朋友可以参考下
    2017-12-12
  • python实现简单的udp发送和接收

    python实现简单的udp发送和接收

    这篇文章主要介绍了python实现简单的udp发送和接收方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • Python多线程、异步+多进程爬虫实现代码

    Python多线程、异步+多进程爬虫实现代码

    这篇文章主要介绍了Python多线程、异步+多进程爬虫实现代码,需要的朋友可以参考下
    2016-02-02
  • 在Python中使用Matplotlib绘制常见图表方式

    在Python中使用Matplotlib绘制常见图表方式

    这篇文章主要介绍了在Python中使用Matplotlib绘制常见图表方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2024-02-02
  • Python 访问限制 private public的详细介绍

    Python 访问限制 private public的详细介绍

    在一个模块中,我们可能会定义很多函数和变量。这篇文章主要介绍了Python 访问限制 private public的详细介绍,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-10-10
  • Pyinstaller 打包发布经验总结

    Pyinstaller 打包发布经验总结

    这篇文章主要介绍了Pyinstaller 打包发布经验总结,使用Pyinstaller打包Python项目包含了大量的坑,感兴趣的可以一起来了解一下
    2020-06-06
  • 解决python 虚拟环境删除包无法加载的问题

    解决python 虚拟环境删除包无法加载的问题

    这篇文章主要介绍了解决python 虚拟环境删除包无法加载的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-07-07
  • 关于使用pyqt弹出消息提示框的问题

    关于使用pyqt弹出消息提示框的问题

    PyQt是一个创建GUI应用程序的工具包。它是Python编程语言和Qt库的成功融合。Qt库是最强大的库之一。PyQt是由Phil Thompson 开发。接下来通过本文给大家介绍下使用pyqt弹出消息提示框的问题,需要的朋友可以参考下
    2022-01-01
  • python脚本框架webpy模板赋值实现

    python脚本框架webpy模板赋值实现

    这篇文章主要为大家介绍了python脚本框架webpy模板赋值实现示例过程,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2021-11-11

最新评论