脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → python mpi4py使用

python中mpi4py的所有基础使用案例详解

 更新时间：2022年08月18日 15:34:48   作者：看那片云  
这篇文章主要介绍了python中mpi4py的所有基础使用,本文通过10个案例给大家详细讲解，结合实例代码给大家介绍的非常详细，需要的朋友可以参考下

python中mpi4py的基础使用

大多数 MPI 程序都可以使用命令 mpiexec 运行。在实践中，运行 Python 程序如下所示：

$ mpiexec -n 4 python script.py

案例1：测试comm.send 和comm.recv函数，代码如下

from mpi4py import MPI

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

if rank == 0:
    data = {'a': 7, 'b': 3.14}
    comm.send(data, dest=1, tag=11)
elif rank == 1:
    data = comm.recv(source=0, tag=11)

rank代表进程编号，其总数是mpiexec -n中的n的个数，最大的n受到电脑cpu内核数的限制
dest代表发送的目标，tag是一个标志位可以忽略，source为数据来源rank标志

案例2：具有非阻塞通讯的python对象

from mpi4py import MPI

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

if rank == 0:
    data = {'a': 7, 'b': 3.14}
    req = comm.isend(data, dest=1, tag=11)
    req.wait()
elif rank == 1:
    req = comm.irecv(source=0, tag=11)
    data = req.wait()

案例3： 快速发送实例

这里的Send和Recv都是大写，用于numpy数据的传输

from mpi4py import MPI
import numpy

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

# passing MPI datatypes explicitly
if rank == 0:
    data = numpy.arange(1000, dtype='i')
    comm.Send([data, MPI.INT], dest=1, tag=77)
elif rank == 1:
    data = numpy.empty(1000, dtype='i')
    comm.Recv([data, MPI.INT], source=0, tag=77)

# automatic MPI datatype discovery
if rank == 0:
    data = numpy.arange(100, dtype=numpy.float64)
    comm.Send(data, dest=1, tag=13)
elif rank == 1:
    data = numpy.empty(100, dtype=numpy.float64)
    comm.Recv(data, source=0, tag=13)

案例4：集体通讯，广播机制

广播机制就是将当前root=0端口下的所有信息发送到任何一个进程

from mpi4py import MPI

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

if rank == 0:
    data = {'key1' : [7, 2.72, 2+3j],
            'key2' : ( 'abc', 'xyz')}
else:
    data = None
data = comm.bcast(data, root=0)

案例5：scatter，将root=0下的数据一次分发到各个rank下

from mpi4py import MPI

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

if rank == 0:
    data = [(i+1)**2 for i in range(size)]
else:
    data = None
data = comm.scatter(data, root=0)
assert data == (rank+1)**2

案例6：gather，将所有rank下的数据收集到root下

from mpi4py import MPI

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

data = (rank+1)**2
data = comm.gather(data, root=0)
if rank == 0:
    for i in range(size):
        assert data[i] == (i+1)**2
else:
    assert data is None

案例7，numpy的广播机制

与之前一样都是大写

from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
rank = comm.Get_rank()

if rank == 0:
    data = np.arange(100, dtype='i')
else:
    data = np.empty(100, dtype='i')
comm.Bcast(data, root=0)
for i in range(100):
    assert data[i] == i

案例8：numpy的Scatter机制

from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

sendbuf = None
if rank == 0:
    sendbuf = np.empty([size, 100], dtype='i')
    sendbuf.T[:,:] = range(size)
recvbuf = np.empty(100, dtype='i')
comm.Scatter(sendbuf, recvbuf, root=0)
assert np.allclose(recvbuf, rank)

案例9：numpy的Gather机制

from mpi4py import MPI
import numpy as np

comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()

sendbuf = np.zeros(100, dtype='i') + rank
recvbuf = None
if rank == 0:
    recvbuf = np.empty([size, 100], dtype='i')
comm.Gather(sendbuf, recvbuf, root=0)
if rank == 0:
    for i in range(size):
        assert np.allclose(recvbuf[i,:], i)

案例10 ：allgather机制

allgather就是 scatter 加上广播机制。
rank0 = a
rank1 = b
rank2 = c
allgather后结果为
rank0 = a，b，c
rank1 = a，b，c
rank2 = a，b，c

from mpi4py import MPI
import numpy

def matvec(comm, A, x):
    m = A.shape[0] # local rows
    p = comm.Get_size()
    xg = numpy.zeros(m*p, dtype='d')
    comm.Allgather([x,  MPI.DOUBLE],
                   [xg, MPI.DOUBLE])
    y = numpy.dot(A, xg)
    return y

到此这篇关于一文读懂python中mpi4py的所有基础使用的文章就介绍到这了,更多相关python mpi4py使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

相关文章

  • Python TCP全连接攻击中SockStress全连接攻击详解

    Python TCP全连接攻击中SockStress全连接攻击详解

    Sock Stress 全连接攻击属于TCP全连接攻击，因为需要建立一次完整的TCP三次握手，该攻击的关键点就在于，攻击主机将windows窗口缓冲设置为0，实现的拒绝服务
    2022-10-10
  • go和python变量赋值遇到的一个问题

    go和python变量赋值遇到的一个问题

    这篇文章主要介绍了go和python变量赋值遇到的一个问题的相关资料,需要的朋友可以参考下
    2017-08-08
  • Python的gevent框架的入门教程

    Python的gevent框架的入门教程

    这篇文章主要介绍了Python的gevent框架的入门教程,示例代码基于Python2.x版本,需要的朋友可以参考下
    2015-04-04
  • Pandas.DataFrame删除指定行和列(drop)的实现

    Pandas.DataFrame删除指定行和列(drop)的实现

    本文主要介绍了Pandas.DataFrame删除指定行和列(drop)的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-02-02
  • PyHacker编写指南引用Nmap模块实现端口扫描器

    PyHacker编写指南引用Nmap模块实现端口扫描器

    这篇文章主要为大家介绍了PyHacker编写指南Nmap模块实现端口扫描，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2022-05-05
  • 学习win32com操作word之Range精讲

    学习win32com操作word之Range精讲

    这篇文章主要为大家介绍了win32com操作word之Range精讲学习，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
    2023-01-01
  • 搞笑的程序猿：看看你是哪种Python程序员

    搞笑的程序猿：看看你是哪种Python程序员

    这篇文章主要介绍了搞笑的程序猿：看看你是哪种Python程序员,不久前,在互联网上出现了一篇有趣的文章,讲的是对于同一个问题,不同层次的Python程序员编出的Python代码，显示出了不同的风格,代码都很简单,有趣,需要的朋友可以参考下
    2015-06-06
  • python之matplotlib矢量图svg emf

    python之matplotlib矢量图svg emf

    这篇文章主要介绍了python之matplotlib矢量图svg emf,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-09-09
  • python使用jpype导入多个Jar的异常问题及解决

    python使用jpype导入多个Jar的异常问题及解决

    这篇文章主要介绍了python使用jpype导入多个Jar的异常问题及解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
    2022-12-12
  • Python网络编程实战之爬虫技术入门与实践

    Python网络编程实战之爬虫技术入门与实践

    这篇文章主要介绍了Python网络编程实战之爬虫技术入门与实践，了解这些基础概念和原理将帮助您更好地理解网络爬虫的实现过程和技巧,需要的朋友可以参考下
    2023-04-04

最新评论