训练损失和训练误差有什么区别？

Question

我的一位教授给了我一个小脚本，用于在每次学习的时代之后可视化他的神经网络的进化情况。这是3个值的图：训练损失、训练误差和测试误差。

第一和第二个有什么区别？

- Alperen AYDIN

Answer 1

训练损失：您正在最小化的目标函数的值。这个值可以是正数或负数，具体取决于特定的目标函数。

训练错误：您的模型性能的人类可解释度量。通常表示模型在训练样本中错误的百分比。这始终是0到1之间的值。

- ahaque

Answer 2

要理解错误和损失之间的区别，您需要了解神经网络是如何学习的。为了能够学习，必须存在一个连续可微的损失函数，以便使用反向传播算法。因此，损失值是这个函数的一个值。有时这个损失正是您想要最小化的（例如，在回归情况下，模型和真实函数之间的距离），但有时您的误差度量不是连续的，或者不可能对其进行微分，然后您必须引入另一个不同的损失函数。二元分类任务是这种情况的一个很好的例子，其中精度误差不可微分。通常，您会使用交叉熵或Hinge损失来提高准确性。在这种情况下，您的误差将是1-准确性，而损失将是例如交叉熵的一个值。

- Marcin Możejko