具有线性激活的层和没有激活的层之间有什么区别？

Question

我正在尝试使用Keras，并思考线性激活层和没有激活层之间有什么区别？它们的行为不是一样的吗？如果是，那么线性激活的意义是什么呢？

我的意思是这两段代码之间的区别：

 model.add(Dense(1500))
 model.add(Activation('linear'))
 model.add(Dense(1500))

和

 model.add(Dense(1500))
 model.add(Dense(1500))

- T.Poe

Answer 1

如果在Dense层中没有指定激活函数，那么它就会使用线性激活函数。这段话来自Keras的文档。

引用部分写道： 激活函数：要使用的激活函数（参见激活函数）。如果您没有指定任何内容，则不应用任何激活函数（即“线性”激活函数：a(x) = x）。

只有当您想使用除“线性”以外其他激活函数时，才能添加Activation。

model.add(Dense(1500))
model.add(Activation('relu'))
model.add(Dense(1500))

- Krunal V

Answer 2

你说得对，你的代码片段之间没有区别：两者都使用线性激活函数。

激活函数确定它是否为非线性（例如，Sigmoid是一种非线性激活函数）：

model.add(Dense(1500))
model.add(Dense(1500, activation='sigmoid'))

7种常见的非线性激活函数以及如何选择激活函数

- RajmondX