在LSTM中使用tanh的直觉是什么？
在LSTM网络（Understanding LSTMs）中，为什么输入门和输出门使用tanh函数？ 这背后的直觉是什么？ 这只是一种非线性转换吗？如果是这样，我能否把它们都改成另一个激活函数（例如ReLU）？
如何在Tensorflow中仅使用Python编写自定义激活函数？
假设您需要创建一个无法仅使用预定义的TensorFlow构建块实现的激活函数，该怎么办？ 在Tensorflow中，您可以制作自己的激活函数。但这相当复杂，您必须用C++编写它并重新编译整个Tensorflow [1] [2]。 有更简单的方法吗？
神经网络回归模型输出层的激活函数
最近我一直在尝试神经网络。我遇到了一个关于激活函数使用的普遍问题。这可能是一个众所周知的事实，但我无法正确理解。我看到的许多示例和论文都处理分类问题，并在输出层使用sigmoid（二元情况）或softmax（多类情况）作为激活函数，这是有道理的。但我没有看到任何在回归模型的输出层中使用的激活函...
为什么只在输出层使用softmax而不在隐藏层使用？
我所见过的分类任务神经网络示例大多使用softmax层作为输出激活函数。通常，其他隐藏单元使用sigmoid、tanh或ReLu函数作为激活函数。在这里使用softmax函数，在我所知道的范围内，在数学上也可以得到解决。不使用softmax函数作为隐藏层激活函数的理论依据是什么？有没有相关出版...
PyTorch是否会在nn.Linear中自动应用softmax函数？
在pytorch中，分类网络模型定义如下：class Net(torch.nn.Module): def __init__(self, n_feature, n_hidden, n_output): super(Net, self).__init__() ...
Pytorch自定义激活函数？
我在Pytorch中实现自定义激活函数(例如Swish)时遇到了问题。如何才能正确地实现和使用自定义激活函数呢？
具有线性激活的层和没有激活的层之间有什么区别？
我正在尝试使用Keras，并思考线性激活层和没有激活层之间有什么区别？它们的行为不是一样的吗？如果是，那么线性激活的意义是什么呢？ 我的意思是这两段代码之间的区别： model.add(Dense(1500)) model.add(Activation('linear')) model.a...
为什么在Wavenet中使用的门控激活函数比ReLU更有效？
最近我在阅读Wavenet和PixelCNN的论文，两篇中都提到使用门控激活函数比ReLU更有效。但在这两种情况下，它们都没有解释为什么会这样。 我在其他平台上询问过（例如r/machinelearning），但目前还没有得到任何回复。也许他们只是尝试了这种替换方法，结果得到了有利的结果？ ...
C#中的激活函数列表
我可以在数学中找到激活函数的列表，但无法在代码中找到。 如果有必要的话，我想这将是一个正确的地方来放置代码中的此类列表。 从这两个链接中开始翻译算法： https://en.wikipedia.org/wiki/Activation_function https://stats.stackex...
Tensorflow错误：不允许将`tf.Tensor`用作Python `bool`
我正在努力在Python的tensorflow中实现一个激活函数。 代码如下: def myfunc(x): if (x > 0): return 1 return 0 但我总是得到以下错误： 不允许使用 tf.Tensor 作为 Python...