Keras CuDNNLSTM 隐式激活函数是什么？

Question

在tf.keras.layers.LSTM中，有一个名为activation的参数（默认值为tanh）。
然而，CuDNNLSTM没有这个参数，但却有一个名为activity_regularizer的参数。
我是否遗漏了什么？

CuDNNLSTM不是tf.keras.layers.LSTM的包装器，而是一个独立的实体，那么我该如何为它设置激活函数呢？

- DsCpp

Answer 1

CuDNNLSTM内置了tanh激活函数，据我所知，无法更改。如果需要其他激活函数，只能使用常规的LSTM层。或者，如果您只需要模型的特定输出激活函数，例如softmax，可以添加一个Dense层，然后在其后添加激活函数。以下是我在特定情况下的代码片段：

x = CuDNNLSTM(256, return_sequences=True)(x)
x = TimeDistributed(Dense(8))(x)
x = Softmax(axis=2)(x)

更多阅读：

• https://github.com/keras-team/keras/issues/8510
• https://devblogs.nvidia.com/optimizing-recurrent-neural-networks-cudnn-5/

- The Guy with The Hat