安装OpenMPI来配合C语言程序进行并行计算

更新时间：2015年11月10日 15:01:07 作者：find

这篇文章主要介绍了安装OpenMPI来配合C语言程序进行并行计算的例子,MPI的全称是Message Passing Interface即标准消息传递界面,可以用于并行计算,需要的朋友可以参考下

安装OPENMPI
由于是实验，也不进行多机的配置了，只在虚拟机里安装吧。多个机器的配置可以参考此文
最简单的方法，apt安装

sudo apt-get install libcr-dev mpich2 mpich2-doc

测试
hello.c

/* C Example */
#include <mpi.h>
#include <stdio.h>

int main (int argc, char* argv[])
{
 int rank, size;

 MPI_Init (&argc, &argv);   /* starts MPI */
 MPI_Comm_rank (MPI_COMM_WORLD, &rank);    /* get current process id */
 MPI_Comm_size (MPI_COMM_WORLD, &size);    /* get number of processes */
 printf( "Hello world from process %d of %d\n", rank, size );
 MPI_Finalize();
 return 0;
}

编译运行及显示结果

mpicc mpi_hello.c -o hello
mpirun -np 2 ./hello
Hello world from process 0 of 2
Hello world from process 1 of 2

正常出现结果表明没有问题，
看下openmpi的版本

mpirun --version

mpirun (Open MPI) 1.6.5
Report bugs to http://www.open-mpi.org/community/help/

MPI计算矩阵乘法

通过opemMPI加速矩阵乘法运算。采用主从模式，0号是master，其他是child（或者叫worker，as you wish）。

基本思路
两个矩阵A，B进行乘法运算，则A的行 i 乘以B的列 j 得出的数是新矩阵(i,j)坐标的数值。A(MN) B(NK)最后矩阵是M*K的，实验中M=N=K=1000，我也就没有明确区分MNK，全部用MATRIX_SIZE定义的。
最简单的思路就是每个worker分配(MATRIX_SIZE/(numprocess-1))个，然后如果有余下的，就分给余数对应的worker。比如MATRIX_SIZE=10，numprocess=4 则实际的worker有3个，每个人分3行，最后的一行给id是1的。可以很简单的利用循环类分配。最后Master收集所有的结果，并按照顺序组装起来就行。
每个worker的工作就是接收来自master的一行，和B矩阵运算，得出新一行的结果，然后发送回master

代码
多加了很多注释来解释，函数的说明下一节解释下。

#include <mpi.h>
#include <stdio.h>
#define MATRIX_SIZE 10
#define FROM_MASTER 1 //这里的类型可以区分消息的种类，以便区分worker发送来的结果
#define FROM_CHILD 2 
#define MASTER 0
MPI_Status status;
int myid,numprocess;
//最终保存的结果
int ans [MATRIX_SIZE*MATRIX_SIZE];
int A[MATRIX_SIZE*MATRIX_SIZE],B[MATRIX_SIZE*MATRIX_SIZE];
//读取文件，注意读取文件要放在master里，不然会读两遍，出现错误
void readFile(){
  FILE* fina,*finb;
  fina=fopen("a.txt","r");
  int i;
  for (i = 0; i < MATRIX_SIZE*MATRIX_SIZE ; ++i)
  {
    fscanf(fina,"%d ",&A[i]);
  }
  fclose(fina);
  finb=fopen("b.txt","r");
  for(i=0;i<MATRIX_SIZE*MATRIX_SIZE;i++)
    fscanf(finb,"%d ",&B[i]);
  fclose(finb);
  printf("read file ok\n");
}
int master(){
  int workid,dest,i,j;
  printf("numprocess %d\n",numprocess );
  //给每个worker发送B矩阵过去
  for(i=0;i<numprocess-1;i++){
    //send B matrix
    MPI_Send(&B,MATRIX_SIZE*MATRIX_SIZE,MPI_INT,i+1,FROM_MASTER,MPI_COMM_WORLD);
  }
  //开始给每个worker分配任务，取模即可
  for (i = 0; i < MATRIX_SIZE; i++)
  {
    //attention: num of workers is numprocess-1
    workid=i%(numprocess-1)+1;
    //send single line in A
    MPI_Send(&A[i*MATRIX_SIZE],MATRIX_SIZE,MPI_INT,workid,FROM_MASTER,MPI_COMM_WORLD);
  }

  //等待从worker发送来的数据
  int tempLine[MATRIX_SIZE];
  for (i = 0; i < MATRIX_SIZE*MATRIX_SIZE; i++)
  {
    ans[i]=0;
  }
  for (i = 0; i < MATRIX_SIZE; ++i)
  {
    int myprocess=i%(numprocess-1)+1;
    printf("Master is waiting %d\n",myprocess);
    //receive every line from every process
    MPI_Recv(&tempLine,MATRIX_SIZE,MPI_INT,myprocess,FROM_CHILD,MPI_COMM_WORLD,&status);
    //发送过来的都是计算好了的一行的数据，直接组装到ans里就行
    for(j=0;j<MATRIX_SIZE;j++){
      ans[MATRIX_SIZE*i+j]=tempLine[j];
    }
    printf("Master gets %d\n",i);
  }

  for(i=0;i<MATRIX_SIZE*MATRIX_SIZE;i++){
    printf("%d ",ans[i] );
    if(i%MATRIX_SIZE==(MATRIX_SIZE-1))printf("\n");
  }
  printf("The Master is out\n");

}
int worker(){
  int mA[MATRIX_SIZE],mB[MATRIX_SIZE*MATRIX_SIZE],mC[MATRIX_SIZE];
  int i,j,bi;
  MPI_Recv(&mB,MATRIX_SIZE*MATRIX_SIZE,MPI_INT,MASTER,FROM_MASTER,MPI_COMM_WORLD,&status);
  //接收来自master的A的行
  for(i=0;i<MATRIX_SIZE/(numprocess-1);i++){
    MPI_Recv(&mA,MATRIX_SIZE,MPI_INT,MASTER,FROM_MASTER,MPI_COMM_WORLD,&status);
    //矩阵乘法，A 的一行和B矩阵相乘
    for(bi=0;bi<MATRIX_SIZE;bi++){
      mC[bi]=0;
      for(j=0;j<MATRIX_SIZE;j++){
        mC[bi]+=mA[j]*mB[bi*MATRIX_SIZE+j];
      }
    }
    MPI_Send(&mC,MATRIX_SIZE,MPI_INT,MASTER,FROM_CHILD,MPI_COMM_WORLD);
  }
  //如果处于余数范围内，则需要多计算一行
  if(MATRIX_SIZE%(numprocess-1)!=0){
    if (myid<=(MATRIX_SIZE%(numprocess-1)))
    {
      MPI_Recv(&mA,MATRIX_SIZE,MPI_INT,MASTER,FROM_MASTER,MPI_COMM_WORLD,&status);
      for(bi=0;bi<MATRIX_SIZE;bi++){
        mC[bi]=0;
        for(j=0;j<MATRIX_SIZE;j++){
          mC[bi]+=mA[j]*mB[bi*MATRIX_SIZE+j];
        }
      }
      MPI_Send(&mC,MATRIX_SIZE,MPI_INT,MASTER,FROM_CHILD,MPI_COMM_WORLD);
    }
  }
  printf("The worker %d is out\n",myid);
}
int main(int argc, char **argv)
{
  MPI_Init (&argc, &argv); 
  MPI_Comm_rank(MPI_COMM_WORLD,&myid);
  MPI_Comm_size(MPI_COMM_WORLD,&numprocess);

  if(myid==MASTER){
    readFile();
    master();
  }
  if(myid>MASTER){
    worker();
  }

  MPI_Finalize();
  return 0;
}

OPENMPI简单函数介绍
针对实验用到的几个函数进行说明。
MPI为程序员提供一个并行环境库，程序员通过调用MPI的库程序来达到程序员所要达到的并行目的，可以只使用其中的6个最基本的函数就能编写一个完整的MPI程序去求解很多问题。这6个基本函数，包括启动和结束MPI环境，识别进程以及发送和接收消息：
理论上说，MPI所有的通信功能可以用它的六个基本的调用来实现：

MPI_INIT 启动MPI环境
MPI_COMM_SIZE 确定进程数
MPI_COMM_RANK 确定自己的进程标识符
MPI_SEND 发送一条消息
MPI_RECV 接收一条消息
MPI_FINALIZE 结束MPI环境

初始化和结束

MPI初始化：通过MPI_Init函数进入MPI环境并完成所有的初始化工作。

int MPI_Init( int *argc, char * * * argv )

MPI结束：通过MPI_Finalize函数从MPI环境中退出。

int MPI_Finalize(void)

获取进程的编号
调用MPI_Comm_rank函数获得当前进程在指定通信域中的编号，将自身与其他程序区分。

int MPI_Comm_rank(MPI_Comm comm, int *rank)

获取指定通信域的进程数
调用MPI_Comm_size函数获取指定通信域的进程个数，确定自身完成任务比例。

int MPI_Comm_size(MPI_Comm comm, int *size)

MPI消息
一个消息好比一封信
消息的内容的内容即信的内容，在MPI中成为消息缓冲(Message Buffer)
消息的接收发送者即信的地址，在MPI中成为消息封装(Message Envelop)
MPI中，消息缓冲由三元组<起始地址，数据个数，数据类型>标识
消息信封由三元组<源/目标进程，消息标签，通信域>标识

消息发送

MPI_Send函数用于发送一个消息到目标进程。

int MPI_Send(void *buf, int count, MPI_Datatype dataytpe, int dest, int tag, MPI_Comm comm)

buf是要发送数据的指针，比如一个A数组，可以直接&A，count则是数据长度，datatype都要改成MPI的type。dest就是worker的id了。tag则可以通过不同的type来区分消息类型，比如是master发送的还是worker发送的。

消息接收

MPI_Recv函数用于从指定进程接收一个消息

 int MPI_Recv(void *buf, int count, MPI_Datatype datatyepe,int source, int tag, MPI_Comm comm, MPI_Status *status)

编译和执行
生成执行文件data

mpicc -o programname programname.c

一个MPI并行程序由若干个并发进程组成，这些进程可以相同也可以不同。MPI只支持静态进程创建，即：每个进程在执行前必须在MPI环境中登记，且它们必须一起启动。通常启动可执行的MPI程序是通过命令行来实现的。启动方法由具体实现确定。例如在MPICH实现中通过下列命令行可同时在独立的机器上启动相同的可执行程序：

 mpirun –np N programname

其中N是同时运行的进程的个数，programname是可执行的MPI程序的程序名。

您可能感兴趣的文章:

MPI
C语言

基于OpenCv的运动物体检测算法
这篇文章主要为大家详细介绍了基于OpenCv的运动物体检测算法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-01-01
一篇文章带你了解C++智能指针详解
这篇文章主要介绍了c++ 智能指针基础的相关资料，帮助大家更好的理解和学习使用c++，感兴趣的朋友可以了解下，希望能给你带来帮助
2021-08-08
C语言预处理器使用方法讲解
C预处理器不是编译器的组成部分，但是它是编译过程中一个单独的步骤。简言之，C预处理器只不过是一个文本替换工具而已，它们会指示编译器在实际编译之前完成所需的预处理。我们将把C预处理器（C Preprocessor）简写为CPP
2022-12-12
C++ string替换单个指定字符为其它字符问题
这篇文章主要介绍了C++ string替换单个指定字符为其它字符问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2023-06-06
C语言实现通讯录的示例代码
这篇文章主要为大家详细介绍了如何录音C语言实现一个简单的通讯录，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-10-10
visual studio 将编译后的dll等文件自动复制到指定目录的方法
这篇文章主要介绍了visual studio 将编译后的dll等文件自动复制到指定目录,本文给大家介绍的非常详细,感兴趣的朋友跟随小编一起看看吧
2024-03-03
C/C++实现string和int相互转换的常用方法总结
在C++编程中,经常需要在字符串（string）和整型（int）之间进行转换,本文将详细介绍几种在C和C++中实现这两种类型转换的常用方法,有需要的可以参考下
2024-01-01
C++ opencv ffmpeg图片序列化实现代码解析
这篇文章主要介绍了C++ opencv ffmpeg图片序列化实现代码解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2020-08-08
C++中vector迭代器失效问题详解
vector是向量类型,它可以容纳许多类型的数据,如若干个整数,所以称其为容器,这篇文章主要给大家介绍了关于C++中vector迭代器失效问题的相关资料,需要的朋友可以参考下
2021-11-11
C语言实现魔方比赛管理系统
这篇文章主要为大家详细介绍了C语言实现魔方比赛管理系统，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-05-05

安装OpenMPI来配合C语言程序进行并行计算

相关文章

最新评论

大家感兴趣的内容

最近更新的内容

常用在线小工具