为什么在“main”中导入模块不允许多进程使用该模块？

Question

为什么在“main”中导入模块不允许多进程使用该模块？

8

我已经通过将导入移到顶部声明来解决了我的问题，但这让我想知道：为什么我不能在被multiprocessing调用的函数中使用在'__main__'中导入的模块？

例如：

import os
import multiprocessing as mp

def run(in_file, out_dir, out_q):
    arcpy.RaterToPolygon_conversion(in_file, out_dir, "NO_SIMPIFY", "Value")
    status = str("Done with "+os.path.basename(in_file))
    out_q.put(status, block=False)

if __name__ == '__main__':
    raw_input("Program may hang, press Enter to import ArcPy...")
    import arcpy

    q = mp.Queue()
    _file = path/to/file
    _dir = path/to/dir
    # There are actually lots of files in a loop to build
    # processes but I just do one for context here
    p = mp.Process(target=run, args=(_file, _dir, q))
    p.start()

# I do stuff with Queue below to status user

当您在IDLE中运行此代码时，它不会出现任何错误...只是一直进行Queue检查（这很好，所以不是问题）。问题是当您在CMD终端中运行此代码时（无论是OS还是Python），它会产生arcpy未定义的错误！

只是一个有趣的话题。

- user7811364

你是在运行 Linux 还是 Windows？ - tdelaney

@tdelaney 这就是为什么我使用 if __name__ 语句的原因，因为我正在使用Windows。 - user7811364

在 Windows 上，multiprocessing 会将主脚本有效地 import 到每个 Python 子进程中，因此在这些情况下，if __name__ == '__main__' 将为 False。在您的脚本中，这意味着当执行 run() 时，模块 arcpy 尚未导入，因为它所在的进程在完全分离的内存空间中执行。 - martineau

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- tdelaney · Accepted Answer

在类Unix系统和Windows系统中，情况是不同的。在Unix系统中，multiprocessing使用fork创建子进程，这些子进程共享父进程内存空间的写时复制视图。子进程可以看到来自父进程的导入，包括任何父进程在if __name__ == "__main__":下导入的内容。

在Windows系统中，没有fork，必须执行新进程。但是，简单地重新运行父进程是行不通的，它会再次运行整个程序。相反，multiprocessing运行它自己的Python程序，该程序导入父主脚本，然后pickle / unpickle父对象空间的视图，希望这对子进程足够了。

那个程序是子进程的__main__，而父脚本的__main__不运行。主要脚本只是像任何其他模块一样被导入。原因很简单：运行父__main__将再次运行完整的父程序，这是必须避免的。

以下是一个测试，展示了正在发生的事情。一个名为testmp.py的主模块和第二个模块test2.py被第一个导入。

import os
import multiprocessing as mp

print("importing test2")
import test2

def worker():
    print('worker pid: {}, module name: {}, file name: {}'.format(os.getpid(), 
        __name__, __file__))

if __name__ == "__main__":
    print('main pid: {}, module name: {}, file name: {}'.format(os.getpid(), 
        __name__, __file__))
    print("running process")
    proc = mp.Process(target=worker)
    proc.start()
    proc.join()

test2.py

import os

print('test2 pid: {}, module name: {}, file name: {}'.format(os.getpid(),
        __name__, __file__))

在Linux系统上运行时，test2只被导入一次，并且工作线程在主模块中运行。

importing test2
test2 pid: 17840, module name: test2, file name: /media/td/USB20FD/tmp/test2.py
main pid: 17840, module name: __main__, file name: testmp.py
running process
worker pid: 17841, module name: __main__, file name: testmp.py

在Windows下，注意到“导入test2”被打印了两次——testmp.py运行了两次。但是“main pid”只被打印了一次——它的__main__没有运行。这是因为multiprocessing在导入时将模块名称更改为__mp_main__。

E:\tmp>py testmp.py
importing test2
test2 pid: 7536, module name: test2, file name: E:\tmp\test2.py
main pid: 7536, module name: __main__, file name: testmp.py
running process
importing test2
test2 pid: 7544, module name: test2, file name: E:\tmp\test2.py
worker pid: 7544, module name: __mp_main__, file name: E:\tmp\testmp.py

为什么在“__main__”中导入模块不允许多进程使用该模块？

为什么在“main”中导入模块不允许多进程使用该模块？