Python多进程池：maxtasksperchild

Question

Python多进程池：maxtasksperchild

pythonmultiprocessingpython-multiprocessingpool

18

我一直在涉猎Python的多进程库，虽然它提供了非常易于使用的API，但其文档并不总是很清晰。特别是，我发现传递给Pool类实例的"maxtasksperchild"参数非常令人困惑。

以下内容直接来自Python文档(3.7.2)：

maxtasksperchild是工作进程可以完成的任务数，在达到此数值之后，该进程将退出并被一个新的进程替换，以便释放未使用的资源。默认值为None，这意味着工作进程将与池一样长寿。

上述内容引起了我的更多问题，而不是回答了我的问题。工作进程如果与池同样长寿会有什么问题？什么使工作进程“新鲜”，何时需要它？通常情况下，何时应明确设置maxtasksperchild的值而不是让它默认为“无限制”，以及考虑到任务数量对chunksize的影响，如何采取最佳做法以最大化处理速度？

从@Darkonaut对chunksize的惊人解答中，我现在了解chunksize的作用和代表什么。由于提供chunksize值会影响“任务”的数量，因此我想知道是否有任何应考虑它们之间的依赖关系以确保最大的性能？

谢谢！

- Marnix.hoh

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Darkonaut · Accepted Answer

通常情况下，您不需要触碰它。但有时代码调用Python外部的内容可能会导致内存泄漏等问题。因此，在一个工作进程被替换之前限制它执行任务的数量是有帮助的，因为该进程错误地积累的"未使用资源"在进程被丢弃时将被释放。然后启动一个新的"新鲜"进程可以使问题得到控制。由于替换进程需要时间，出于性能考虑，您可以让maxtasksperchild保持默认设置。如果有一天遇到无法解释的资源问题，您可以尝试将maxtasksperchild=1来查看是否有所改变。如果有改变，那么很可能是某些东西正在泄漏。