Python 3.8 多进程：TypeError: 无法pickle 'weakref'对象

Question

Python 3.8 多进程：TypeError: 无法pickle 'weakref'对象

3

我们正在尝试使用 multiprocessing 模块来执行这段代码：

import multiprocessing as mp

ctx = mp.get_context("spawn")
(child, pipe) = ctx.Pipe(duplex=True)
job_process = ctx.Process(
    name="my_job",
    target=job_func,
    args=(
        child,
        server_info,
        manager,
        job_config,
        config_file,
    ),
)
job_process.start()

我们在Python 3.8中遇到了以下错误，而在Python 3.6中没有看到：

 Traceback (most recent call last):
   File "path/to/venv/lib/python3.8/site-packages/path/to/file.py", line 137, in includeme 
     job_process.start()
   File "/usr/lib/python3.8/multiprocessing/process.py", line 121, in start
     self._popen = self._Popen(self)
   File "/usr/lib/python3.8/multiprocessing/context.py", line 284, in _Popen
     return Popen(process_obj)
   File "/usr/lib/python3.8/multiprocessing/popen_spawn_posix.py", line 32, in __init__
     super().__init__(process_obj)
   File "/usr/lib/python3.8/multiprocessing/popen_fork.py", line 19, in __init__
     self._launch(process_obj)
   File "/usr/lib/python3.8/multiprocessing/popen_spawn_posix.py", line 47, in _launch
     reduction.dump(process_obj, fp)
   File "/usr/lib/python3.8/multiprocessing/reduction.py", line 63, in dump
     ForkingPickler(file, protocol).dump(obj)
 TypeError: cannot pickle 'weakref' object

这个过程的启动方式或提供的参数是否需要更改或检查？任何方向都会受到赞赏！

- aaron02

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- ShadowRanger · Accepted Answer

这个问题很可能是你的应用程序中一个更大bug的副作用。在使用“spawn”模式时，你必须使用导入保护来使用multiprocessing，否则会发生一些奇怪的事情。特别是：

在spawn模式下进行的fork仿真将尝试序列化一些主模块的状态以传输到子进程，以类似地初始化子进程；截至Python 3.7，multiprocessing.Process本身不可pickle（虽然有一个补丁待修复），因此您绝对不希望在任何可能被pickled的地方使用它。
通过不使用导入保护，子进程对主模块的导入会执行主模块执行的所有操作，包括启动一个子进程（它本身启动一个子进程等等，无限循环）。

通过使用导入保护并将所有内容放入调用保护内的main函数中，可以解决这两个问题：

import multiprocessing as mp

# Wrapping in function avoids implicit dependencies on mutable global state
def main():
    ctx = mp.get_context("spawn")
    (child, pipe) = ctx.Pipe(duplex=True)
    job_process = ctx.Process(
        name="my_job",
        target=job_func,
        args=(
            child,
            server_info,
            manager,
            job_config,
            config_file,
        ),
    )
    job_process.start()

# Guard ensures only the parent process tries to actually run main()
if __name__ == '__main__':
    main()