对于无法使用编译的numpy
函数重写的复杂函数,我们无法在速度上取得大的改进。
定义一个需要标量的math
方法的函数,例如:
def func(x):
return math.sin(x)**2 + math.cos(x)**2
In [868]: x = np.linspace(0,np.pi,10000)
作为参考,请进行直接的列表推导:
In [869]: np.array([func(i) for i in x])
Out[869]: array([ 1., 1., 1., ..., 1., 1., 1.])
In [870]: timeit np.array([func(i) for i in x])
13.4 ms ± 211 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
您的列表映射稍微快一些:
In [871]: timeit np.array(list(map(func, x)))
12.6 ms ± 12.1 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
对于像这样的一维数组,可以用
np.fromiter
替换
np.array
。它也适用于生成器,包括Py3中的
map
。
In [875]: timeit np.fromiter(map(func, x),float)
13.1 ms ± 176 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
这样可以避免先创建整个列表可能带来的时间惩罚。但在这种情况下,它并没有起到帮助作用。
另一个迭代器是
np.frompyfunc
。 它被
np.vectorize
使用,但通常具有更少的开销和更快的速度。 它返回一个dtype对象数组:
In [876]: f = np.frompyfunc(func, 1, 1)
In [877]: f(x)
Out[877]: array([1.0, 1.0, 1.0, ..., 1.0, 1.0, 1.0], dtype=object)
In [878]: timeit f(x)
11.1 ms ± 298 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
In [879]: timeit f(x).astype(float)
11.2 ms ± 85.9 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
略微提高了速度。我注意到在1000个项目
x
中有更大的改进。如果您的问题需要针对彼此进行广播的几个数组,则这将更好。
将值分配给预先分配的
out
数组可能会节省内存,并且通常建议作为列表追加迭代的替代方法。但是在这里,它并没有提高速度:
In [882]:
...: out = np.empty_like(x)
...: for i,j in enumerate(x): out[i]=func(j)
16.1 ms ± 308 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
使用
enumerate
比
range
迭代略快。
pRange
是粘贴时的错误。我已经将其删除。 - splinterfunc(xRange)
的话,我会得到44.8微秒,而您的map转换成列表再转换为数组需要33.4毫秒(对于100000个随机元素的数组)。 - Ignacio Vergara Kausel