人工神经网络的深度

Question

根据这个答案，一个人不应该使用超过两个隐藏层的神经元。

根据这个答案，中间层应该包含最多两倍于输入或输出神经元的数量（因此，如果你有5个输入神经元和10个输出神经元，每层最多应该使用20个中间神经元）。

那是否意味着所有数据都将在那些神经元的数量内建模？

因此，例如，从建模天气（来自不同气象站的100万个输入节点）到简单OCR（具有1000x1000DPI分辨率的扫描文本），需要相同数量的节点吗？

---

附言。

我的上一个问题被关闭了。是否有其他SE网站可以提出这类问题？

- user851031

---

你的意思是，不应该使用超过两个[隐藏]层的神经元吗？ - Austin Henley

Answer 1

你可能会遇到数据过拟合的问题（也称为高方差）。可以这样想：你拥有的神经元和层数越多，就有更多的参数来更好地拟合你的数据。

记住，对于第一层节点，方程变为 Z = sigmoid(sum(W*x)) 第二层节点变为 Z2 = Sigmoid(sum(W*Z))

建议你参考斯坦福大学开设的机器学习课程... 这是一个很好的在线课程，也是一个很好的工具作为参考。

- Adam

Answer 2

在某些架构中，超过两个隐藏层可能是有用的，例如级联相关（Fahlman和Lebiere 1990）以及特殊应用，比如双螺旋问题（Lang and Witbrock 1988）和邮政编码识别（Le Cun et al. 1989）。

参考文献： - Fahlman, S.E.和Lebiere, C.（1990），“级联相关学习架构”，NIPS2，524-532。 - Le Cun, Y.，Boser, B.，Denker, J.S.，Henderson, D.，Howard, R.E.， Hubbard, W.，和Jackel, L.D. （1989），“反向传播应用于手写邮政编码识别”，神经计算，1，541-551。

欲了解更多信息，请查看“我应该使用多少个隐藏层？”和“我应该使用多少个隐藏单元？”部分，访问 comp.ai.neural-nets的FAQ。

- Franck Dernoncourt