如何使用joblib并行缓存函数

Question

我想并行处理一个使用joblib.Memory缓存的函数，但是我遇到了以下错误：

TypeError: can't pickle function objects

这里是代码：

import joblib

mem = joblib.Memory(cachedir='/tmp')


@mem.cache
def foo(x):
    # do some complicated task
    return x + 1

if __name__ == '__main__':
    f = joblib.delayed(foo)
    res = joblib.Parallel(n_jobs=-2)(f(x) for x in range(100))

- motam79

Answer 1

尝试使用不同的名称来装饰函数，例如foo_cached = mem.cache(foo)，而不是使用装饰器。详情请参见https://github.com/joblib/joblib/issues/226。

- darkk