多进程池示例

Question

我正在尝试学习如何使用multiprocessing，并找到了以下示例。

我想按以下方式对值进行求和：

from multiprocessing import Pool
from time import time

N = 10
K = 50
w = 0

def CostlyFunction(z):
    r = 0
    for k in xrange(1, K+2):
        r += z ** (1 / k**1.5)
    print r
    w += r
    return r

currtime = time()

po = Pool()

for i in xrange(N):
    po.apply_async(CostlyFunction,(i,))
po.close()
po.join()

print w
print '2: parallel: time elapsed:', time() - currtime

我无法获得所有r值的总和。

- litd

Answer 1

如果您要像这样使用apply_async，那么您必须使用某种共享内存。此外，您需要将启动多进程的部分放置在只有在初始脚本调用时才执行而不是在池化进程中执行的位置。这是一种使用map的方法。

from multiprocessing import Pool
from time import time

K = 50
def CostlyFunction((z,)):
    r = 0
    for k in xrange(1, K+2):
        r += z ** (1 / k**1.5)
    return r

if __name__ == "__main__":
    currtime = time()
    N = 10
    po = Pool()
    res = po.map_async(CostlyFunction,((i,) for i in xrange(N)))
    w = sum(res.get())
    print w
    print '2: parallel: time elapsed:', time() - currtime

- Justin Peel

---

如果您使用pool.imap或pool.imap_unordered，您可以直接将其放入sum函数中，像这样：sum(pool.imap_unordered(CostlyFunction,((i,) for i in xrange(N))))。 - Björn Pollex

Answer 2

这是我在Python示例文档中找到的最简单的示例：

from multiprocessing import Pool

def  f(x):
    return x*x

if __name__ == '__main__':
    pool = Pool(processes=4)              # start 4 worker processes
    result = pool.apply_async(f, [10])    # evaluate "f(10)" asynchronously
    print result.get(timeout=1)           # prints "100" unless your computer is *very* slow
    print pool.map(f, range(10))          # prints "[0, 1, 4,..., 81]"

这很简单，即使是我也能理解。
注意result.get()会触发计算。

- GuySoft