我想使用mpi4py来并行化一个优化问题。为了最小化我的函数,我使用scipy中的minimize例程。
from scipy.optimize import minimize
def f(x, data) :
#returns f(x)
x = minimize(f, x0, args=(data))
现在,如果我想使用mpi4py并行化我的函数。最小化算法的实现是顺序的,只能在一个进程上运行,因此只有我的函数是并行化的,这不是问题,因为函数调用是最耗时的步骤。但我无法想出如何实现这个问题,其中包含并行和顺序部分。
这是我的尝试:
from scipy.optimize import minimize
from mpi4py import MPI
comm = MPI.COMM_WORLD
size = comm.Get_size()
rank = comm.Get_rank()
N = 100 # for testing
step = N//size # say that N is divisible by size
def mpi_f(x, data) :
x0 = x[rank*step:(rank+1)*step]
res = f(x0, data)
res = comm.gather(res, root=0)
if rank == 0 :
return res
if rank == 0 :
x = np.zeros(N)
xs = minimize(mpi_f, x, args=(data))
显然这种方法行不通,因为mpi_f只在进程0上运行。所以我想知道该怎么办?
谢谢。