我正在使用numpy编写一些性能较为关键的代码。 这段代码将位于计算过程的最内层循环中，其运行时间以小时为单位。 一个快速的计算表明，在某些计算变体中，该代码将被执行大约10^12次。
因此，这个函数的作用是计算sigmoid(X)，另一个函数则计算其导数（梯度）。
Sigmoid具有以下属性：对于
y=sigmoid(x), dy/dx= y(1-y)
在Python的numpy中，它看起来像：
sigmoid = vectorize(lambda(x): 1.0/(1.0+exp(-x)))
grad_sigmoid = vectorize(lambda (x): sigmoid(x)*(1-sigmoid(x)))
可以看出，这两个函数都是纯函数（没有副作用），因此它们是记忆化的理想候选项， 至少在短期内，我对缓存每次调用sigmoid的担忧：存储10 ^ 12个浮点数需要数千兆字节的RAM。
有没有好的方法来优化这个问题？
Python会自动识别这些是纯函数并适当地为其缓存吗？
我是不是在无谓地担心？
这些函数已经存在于scipy中。Sigmoid函数可以使用scipy.special.expit进行调用。
In [36]: from scipy.special import expit
将 expit 与矢量化的 sigmoid 函数进行比较：
In [38]: x = np.linspace(-6, 6, 1001)
In [39]: %timeit y = sigmoid(x)
100 loops, best of 3: 2.4 ms per loop
In [40]: %timeit y = expit(x)
10000 loops, best of 3: 20.6 µs per loop
expit比自己实现公式更快：
In [41]: %timeit y = 1.0 / (1.0 + np.exp(-x))
10000 loops, best of 3: 27 µs per loop
逻辑分布的累积分布函数是S形函数。该函数可通过scipy.stats.logistic库的cdf方法获得，但cdf实际上会调用expit方法，因此使用该方法没有意义。您可以使用pdf方法计算S形函数的导数，或使用开销较小的_pdf方法，但自己编写方法速度更快：
In [44]: def sigmoid_grad(x):
....: ex = np.exp(-x)
....: y = ex / (1 + ex)**2
....: return y
时间 (x 的长度为 1001)：
In [45]: from scipy.stats import logistic
In [46]: %timeit y = logistic._pdf(x)
10000 loops, best of 3: 73.8 µs per loop
In [47]: %timeit y = sigmoid_grad(x)
10000 loops, best of 3: 29.7 µs per loop
如果你要使用在分布尾部值较大的数据，请小心实现。指数函数很容易出现溢出情况。相比我快速实现的sigmoid_grad，logistic._cdf更加健壮。
In [60]: sigmoid_grad(-500)
/home/warren/anaconda/bin/ipython:3: RuntimeWarning: overflow encountered in double_scalars
import sys
Out[60]: 0.0
In [61]: logistic._pdf(-500)
Out[61]: 7.1245764067412855e-218
sech**2 (1/cosh**2) 实现的速度比上述的 sigmoid_grad 稍慢：In [101]: def sigmoid_grad_sech2(x):
.....: y = (0.5 / np.cosh(0.5*x))**2
.....: return y
.....:
In [102]: %timeit y = sigmoid_grad_sech2(x)
10000 loops, best of 3: 34 µs per loop
但它更好地处理了尾巴：
In [103]: sigmoid_grad_sech2(-500)
Out[103]: 7.1245764067412855e-218
In [104]: sigmoid_grad_sech2(500)
Out[104]: 7.1245764067412855e-218
._pdf() 对参数的错误检查较少。它也不使用分布的 loc（位置）和 scale（比例）参数——这些在 .pdf() 方法中处理。.pdf() 最终调用 ._pdf() 来进行实际计算。 - Warren Weckesser我继续评论一下，这里是您通过vectorize使用sigmoid函数和直接使用numpy的比较：
In [1]: x = np.random.normal(size=10000)
In [2]: sigmoid = np.vectorize(lambda x: 1.0 / (1.0 + np.exp(-x)))
In [3]: %timeit sigmoid(x)
10 loops, best of 3: 63.3 ms per loop
In [4]: %timeit 1.0 / (1.0 + np.exp(-x))
1000 loops, best of 3: 250 us per loop
vectorize使速度变慢了，事实上，您可以在250微秒内计算10000个sigmoid（即每个sigmoid只需25纳秒）。在Python中，单个字典查找的速度都比这慢，更不用说所有其他代码来实现备忘录了。functools.lru_cache(maxsize=n)进行修饰。 通过尝试不同的maxsize值来找到适合您应用程序的大小。 为了获得最佳结果，请使用2的幂作为maxsize参数。from functools import lru_cache
lru_cache(maxsize=8096)
def sigmoids(x):
sigmoid = vectorize(lambda(x): 1.0/(1.0+exp(-x)))
grad_sigmoid = vectorize(lambda (x): sigmoid(x)*(1-sigmoid(x)))
return sigmoid, grad_sigmoid
pip install repoze.lru。from repoze.lru import lru_cache
lru_cache(maxsize=8096)
def sigmoids(x):
sigmoid = vectorize(lambda(x): 1.0/(1.0+exp(-x)))
grad_sigmoid = vectorize(lambda (x): sigmoid(x)*(1-sigmoid(x)))
return sigmoid, grad_sigmoid
大多数情况下，我同意Warren Weckesser和他的答案above。 但是对于sigmoid的导数，可以使用以下方法：
In [002]: def sg(x):
...: s = scipy.special.expit(x)
...: return s * (1.0 - s)
时间：
In [003]: %timeit y = logistic._pdf(x)
10000 loops, best of 3: 45 µs per loop
In [004]: %timeit y = sg(x)
10000 loops, best of 3: 20.4 µs per loop
唯一的问题是准确性：
In [005]: sg(37)
Out[005]: 0.0
In [006]: logistic._pdf(37)
Out[006]: 8.5330476257440658e-17
1/(1+np.exp(-x))已经能够接受 numpy 数组作为输入，而且非常快（我猜测记忆化不会有任何帮助）。使用vectorize会使它变慢很多，因为它是使用缓慢的 for 循环实现的。 - Gustav Larsson