这是确实可能的,mpi4py文档中有关于动态进程管理的说明。你需要的是所谓的Spawn
功能,在使用Windows时,MSMPI
不支持该功能,请参见MSMPI未实现Spawn。
示例
第一个文件提供了一种包装器,以隐藏所有MPI内容,我猜这是你的意图。在内部,它调用了包含你的并行代码的“实际”脚本,生成4个新的进程。
最后,你可以打开一个Python终端并调用:
from my_prog import parallel_fun
parallel_fun()
my_prog.py
import sys
import numpy as np
from mpi4py import MPI
def parallel_fun():
comm = MPI.COMM_SELF.Spawn(
sys.executable,
args = ['child.py'],
maxprocs=4)
N = np.array(0, dtype='i')
comm.Reduce(None, [N, MPI.INT], op=MPI.SUM, root=MPI.ROOT)
print(f'We got the magic number {N}')
这是带有并行代码的子文件:
child.py
from mpi4py import MPI
import numpy as np
comm = MPI.Comm.Get_parent()
print(f'Hi from {comm.Get_rank()}/{comm.Get_size()}')
N = np.array(comm.Get_rank(), dtype='i')
comm.Reduce([N, MPI.INT], None, op=MPI.SUM, root=0)