使用运算符对mpi4py中的列表进行求和操作以减少列表。

Question

我正在编写一个MPI Python代码。例如，四个进程的数据如下：

data on procs0: [1, 2, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0]
data on procs1: [0, 0, 0, 4, 5, 6, 0, 0, 0, 0, 0, 0]
data on procs2: [0, 0, 0, 0, 0, 0, 7, 8, 9, 0, 0, 0]
data on procs3: [0, 0, 0, 0, 0, 0, 0, 0, 0, 10, 11, 12]

我希望使用mpi4py库中的reduce函数将数据在procs0上进行归约，并得到结果：

result on procs0: [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12]

我该如何使用mpi4py库函数来实现这个功能？

编辑： 上面是一个简单的特例，无法使用set，下面看另一个情况：

data on procs0: [1,0,0,0,0,0]
data on procs1: [0,2,0,0,0,0]
data on procs2: [0,0,0,3,0,0]
data on procs3: [0,0,0,0,4,5]

理想的结果必须是：

result on procs0: [1,2,0,3,4,5]

- xunzhang

---

我不确定mpi4py，但我认为你应该使用MPI_Reduce作为操作，并选择MPI_MAX。 - Nikolay Polivanov

Answer 1

根据您的问题，我不确定您是想要数据的总和还是最大值。我已经使用mpi Reduce函数编写了一个简单的示例，可以计算总和。

#!/usr/bin/env python
import numpy as np
from mpi4py import MPI
comm = MPI.COMM_WORLD

comm.Barrier()
t_start = MPI.Wtime()

# this array lives on each processor
data = np.zeros(5)
for i in xrange(comm.rank, len(data), comm.size):
    # set data in each array that is different for each processor
    data[i] = i

# print out the data arrays for each processor
print '[%i]'%comm.rank, data
comm.Barrier()

# the 'totals' array will hold the sum of each 'data' array
if comm.rank==0:
    # only processor 0 will actually get the data
    totals = np.zeros_like(data)
else:
    totals = None

# use MPI to get the totals 
comm.Reduce(
    [data, MPI.DOUBLE],
    [totals, MPI.DOUBLE],
    op = MPI.SUM,
    root = 0
)

# print out the 'totals'
# only processor 0 actually has the data
print '[%i]'%comm.rank, totals

comm.Barrier()
t_diff = MPI.Wtime() - t_start
if comm.rank==0: print t_diff

将这段代码保存在名为reduce_test.py的文件中，并使用命令mpirun -np 3 ./reduce_test.py运行它，在我的电脑上得到了如下输出结果：

[0] [ 0.  0.  0.  3.  0.]
[1] [ 0.  1.  0.  0.  4.]
[2] [ 0.  0.  2.  0.  0.]
[1] None
[2] None
[0] [ 0.  1.  2.  3.  4.]
0.00260496139526

请注意，在调用comm.Reduce时更改参数op = MPI.SUM为op = MPI.MAX将计算最大值而不是总和。

- Steve

---

好的例子。您能否请评论一下这个问题@https://dev59.com/AcTra4cB1Zd3GeqP_I-x#72538180 - CEB

Answer 2

使用列表推导式和zip函数，存储每列的最大值。

In [1]: procs0=[1, 2, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0]    
In [2]: procs1=[0, 0, 0, 4, 5, 6, 0, 0, 0, 0, 0, 0]
In [3]: procs2=[0, 0, 0, 0, 0, 0, 7, 8, 9, 0, 0, 0]
In [4]: procs3=[0, 0, 0, 0, 0, 0, 0, 0, 0, 10, 11, 12]

In [5]: [max(i) for i in zip(procs0, procs1, procs2, procs3)]
Out[5]: [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12]

- Fredrik Pihl

---

我认为OP想要将所有列表的第一个元素相加，第二个元素相加等等。 - Dhara

还有，这个计算不依赖于MPI，对吗？ - S.Ale

还有，这个计算不依赖于MPI，对吗？ - S.Ale