前向传播与前向传递的区别

5

我看到一些论文说前向传递,其他论文说前向传播。

这两个词的意思是相同的吗?

2个回答

3

是的,它们通常意思相同,但有一些语言细节上的区别。

具体来说,在基于反向传播的神经网络训练中,主要有两个步骤:前向传递和反向传递。在前向传递过程中,变量通过网络进行正向传播,而在反向传递过程中,则是将误差进行反向传播。


-1
神经网络是通过梯度下降法进行训练的。为此,您需要计算损失函数相对于每个参数的偏导数。为此,您需要首先计算给定参数当前值的损失函数的值,然后使用链式法则的归纳性质计算导数,这一次从损失层开始。两个术语都用于相同的值计算操作,因此在神经网络的上下文中具有相同的含义。前向传递有时也用于隐马尔可夫模型的推理算法。但是很难混合它们,应该从上下文中理解所指的算法。

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接