神经网络中的前向传递和反向传递是什么？

Question

43

神经网络中的“向前传递”和“向后传递”的含义是什么？

当谈论反向传播和时代(epoch)时，每个人都会提到这些表达式。

我理解，向前传递和向后传递共同形成一个时代。

- Shridhar R Kulkarni

5

我强烈建议你仔细阅读这篇文章：http://cs231n.github.io/optimization-2/。它以非常出色和易于理解的方式展示了优化问题。 - Marcin Możejko

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Kornel Dylski · Accepted Answer

"Forward pass" 是指计算过程，从输入数据到输出层的数值计算。它会通过所有神经元从第一层到最后一层进行遍历。

输出值计算得出一个损失函数。

"Backward pass" 是指计算权重变化（实际上是学习），使用梯度下降算法（或类似算法）的过程。计算是从最后一层向后推进到第一层。

前向传递和后向传递一起构成一个"迭代"。

在一个迭代中，通常通过一部分数据集，称为"mini-batch" 或"batch"（然而，“batch”也可以表示整个集合，因此有“mini”前缀）。

"Epoch" 意味着以批次方式穿越整个数据集。
一个 epoch 包含 (number_of_items / batch_size) 次迭代。