MPI：如何在MPI_Wait中区分发送和接收

Question

假设我使用PMPI为MPI_Wait编写一个包装器，它等待MPI发送或接收完成。

/* ================== C Wrappers for MPI_Wait ================== */
_EXTERN_C_ int PMPI_Wait(MPI_Request *request, MPI_Status *status);
_EXTERN_C_ int MPI_Wait(MPI_Request *request, MPI_Status *status) { 
    int _wrap_py_return_val = 0;

  _wrap_py_return_val = PMPI_Wait(request, status);
    return _wrap_py_return_val;
}

这个wrapper是由这里生成的。

我想要做的是：

/* ================== C Wrappers for MPI_Wait ================== */
_EXTERN_C_ int PMPI_Wait(MPI_Request *request, MPI_Status *status);
_EXTERN_C_ int MPI_Wait(MPI_Request *request, MPI_Status *status) { 
    int _wrap_py_return_val = 0;

  if(is a send request)
    printf("send\n");
  else // is a recv request
    printf("recv\n");

  _wrap_py_return_val = PMPI_Wait(request, status);
    return _wrap_py_return_val;
}

如何在Open MPI中区分send和recv？假设我使用的是Open MPI 3.0.0版本。

- JACK M

---

MPI_Request是一个不透明的句柄，因此您不能在这个级别上区分发送和接收（也不能区分集体通信等）。如果您针对特定版本的OpenMPI，则可以使用内部的 ompi_request_t 类型。请注意，您的扩展应该与Open MPI一起编写和构建。 - Gilles Gouaillardet

@GillesGouaillardet ompi_request_t的哪个元素包含用于区分发送和接收的信息？ 我查看了定义，但找不到该元素。是ompi_request_type_t吗？ 它并不是用于发送和接收的。也许你可以将代码示例发布为答案？ - JACK M

我错过了一些步骤。如果这是一个 MPI_REQUEST_PML，那么将请求转换为 mca_pml_base_request_t，并检查 req_type。 - Gilles Gouaillardet

我浏览了http://www.vi-hps.org/upload/packages/scorep/scorep-3.1.tar.gz中的`src/adapters/mpi/SCOREP_Mpi_P2p.c`和`scorep_mpi_request.*`。他们在发送和接收期间手动注册请求。即对于每个发送/接收，都要注册请求并在等待期间检索其源（例如，在链接的tarball中查找`SCOREP_MPI_REQUEST_TYPE_RECV`）。Score-P不依赖于MPI实现。 - Ronny Brendel

P2P管理层 - Gilles Gouaillardet

Answer 1

我认为，由于MPI_Request是不透明的（在几个版本中，我认为它只是一个int），你唯一的机会就是自己监控所创建的MPI_Request。

以下是一个建议（它是面向C++的，因为这是我喜欢的方式）：

#include <mpi.h>
#include <iostream>
#include <map>
//To do opaque ordering
struct RequestConverter
{
      char data[sizeof(MPI_Request)];
      RequestConverter(MPI_Request * mpi_request)
      {
            memcpy(data, mpi_request, sizeof(MPI_Request));
      }
      RequestConverter()
      { }
      RequestConverter(const RequestConverter & req)
      {
            memcpy(data, req.data, sizeof(MPI_Request));
      }
      RequestConverter & operator=(const RequestConverter & req)
      {
            memcpy(data, req.data, sizeof(MPI_Request));
            return *this;
      }
      bool operator<(const RequestConverter & request) const
      {
            for(size_t i=0; i<sizeof(MPI_Request); i++)
            {
                  if(data[i]!=request.data[i])
                  {
                        return data[i]<request.data[i];
                  }
            }
            return false;
      }
};
//To store the created MPI_Request
std::map<RequestConverter, std::string> request_holder;

extern "C"
{

int MPI_Isend(
  void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request
)
{
      int ier = PMPI_Isend(buf, count, datatype, dest, tag, comm, request);
      request_holder[RequestConverter(request)]="sending";
      return ier;
}


int MPI_Irecv(
  void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request
)
{
      int ier = PMPI_Irecv(buf, count, datatype, dest, tag, comm, request);
      request_holder[RequestConverter(request)]="receiving";
      return ier;
}

int MPI_Wait(
  MPI_Request *request,
  MPI_Status * status
)
{
      int myid;
      MPI_Comm_rank(MPI_COMM_WORLD, &myid);
      std::cout << "waiting("<<myid<<")-> "<<request_holder[RequestConverter(request)]<<std::endl;
      request_holder.erase(RequestConverter(request));

      return PMPI_Wait(request, status);
}


}

RequestConverter是使用std::map进行无意识排序的一种方法。

MPI_Isend将请求存储在全局映射中，MPI_Irecv也是如此，而MPI_Wait查找请求并从std::map中删除它。

简单测试结果为：

int main(int argv, char ** args)
{
       int myid, numprocs;
      MPI_Init(&argv, &args);
      MPI_Comm_size(MPI_COMM_WORLD, &numprocs);
      MPI_Comm_rank(MPI_COMM_WORLD, &myid);

      int i=123456789;
      MPI_Request request;
      MPI_Status status;
      if(myid==0)
      {
            MPI_Isend(&i, 1, MPI_INT, 1, 44444, MPI_COMM_WORLD, &request);
            MPI_Wait(&request, &status);
            std::cout << myid <<' '<<i << std::endl;
      }
      else if(myid==1)
      {
            MPI_Irecv(&i, 1, MPI_INT, 0, 44444, MPI_COMM_WORLD, &request);
            MPI_Wait(&request, &status);
            std::cout << myid <<' '<<i << std::endl;
      }
      int * sb = new int[numprocs];
      for(size_t i=0; i<numprocs; i++){sb[i]=(myid+1)*(i+1);}
      int * rb = new int[numprocs];
      MPI_Alltoall(sb, 1, MPI_INT, rb, 1, MPI_INT, MPI_COMM_WORLD  );
      MPI_Finalize();
}

输出：

waiting(0)-> sending
0 123456789
waiting(1)-> receiving
1 123456789

然而，我刚刚添加了一个带有MPI_Alltoall的测试，以查看是否只调用了PMPI函数，事实证明确实如此。因此，没有什么奇迹。

- PilouPili