反向传播神经网络和前馈神经网络有什么区别？

Question

反向传播神经网络和前馈神经网络之间有什么区别？

通过谷歌搜索和阅读，我发现在前馈网络中只有正向传递，而在反向传播中我们需要进行一次正向传递和一次反向传递。我参考了这个链接

1. 除了流动方向之外还有其他差异吗？ 权重计算呢？ 结果呢？
2. 假设我正在实现反向传播，即它包含正向和反向流程。那么反向传播足以显示前馈吗？

- USB

Answer 1

• 前馈神经网络是一种神经网络架构类型，其中连接是“向前传递”的，即不形成循环（例如在递归网络中）。

• 术语“前馈”也用于当您在输入层输入某些内容并且它从输入到隐藏层，从隐藏到输出层进行传输时。
  这些值被“前馈”。

这些短语“前馈”都与训练本身无关。

• 反向传播是由两个步骤组成的训练算法：1）前馈值 2）计算误差并将其向后传播到较早的层。因此，准确地说，正向传播是反向传播算法的一部分，但在反向传播之前。

- runDOSrun

Answer 2

没有纯的反向传播或纯的前馈神经网络。

反向传播是一种训练(调整权重)神经网络的算法。 反向传播的输入是输出向量、目标输出向量， 输出是调整后的权重向量。

前馈是一种从输入向量计算输出向量的算法。 前馈的输入是输入向量， 输出是输出向量。

当您正在训练神经网络时，需要同时使用这两种算法。

当您使用已经训练好的神经网络时，只需使用前馈。

基本类型的神经网络是多层感知器，它是一种前馈反向传播神经网络。

还有更高级别的神经网络，使用改进的算法。

学习的好资源： ftp://ftp.sas.com/pub/neural/FAQ.html 最好的理解原则的方法是编写程序（本视频中的教程）https://www.youtube.com/watch?v=KkwX7FkLfug

- user4545181

---

该链接无法找到。 - USB

Answer 3

简单来说：

前馈是一种架构，相反的是循环神经网络。

反向传播（BP）是一种解决方法。BP可以解决前馈和循环神经网络。

- S Z

---

BP和FFNN不是RNN吗？ - Yashashvi

FFNN和RNN是不同的，就像男性和女性一样。BP是一种求解方法，与它是FFNN还是RNN无关。 - S Z

Answer 4

神经网络可以有不同的架构。它们各自的神经元之间的连接确定信息的传递方向。根据网络连接的方式，它们被归类为前馈和递归（反向传播）。

前馈神经网络

在这些类型的神经网络中，信息仅在一个方向流动，即从输入层到输出层。当权重一旦确定后，它们通常不会改变。一个人要么明确地决定权重，要么使用Radial Basis Function等函数来决定权重。这里的节点完成它们的工作而不知道生成的结果是否准确（即它们不会根据生成的结果重新调整）。没有来自前面层的反馈。

递归神经网络（反向传播）

信息从输入层到输出层传递以产生结果。然后将错误反馈回先前的层次。节点知道它们对答案错误产生了多少贡献。权重被重新调整。神经网络得到改进。它学习了。信息具有双向流动。这基本上实现了前馈和反向传播两种算法。

- Ananth

---

这里有一些混淆。前馈神经网络和循环神经网络是神经网络的类型，而不是训练算法的类型。 训练算法是反向传播、梯度下降等，用于训练网络。在前馈神经网络中，一层的输出不会影响自身，而在循环神经网络中会影响。 - Varad Bhatnagar

谢谢@VaradBhatnagar。"算法"这个词被放在了一个奇怪的地方，确实引起了困惑。我现在试图更恰当地表达我的观点。 - Ananth

备注：前馈神经网络也可以使用您在递归神经网络中描述的过程进行训练。 - Quastiat