logo标签列表

机器学习中的训练步骤时间是什么？

machine-learningterminology
4
在这篇论文中：
TensorFlow：一个大规模机器学习系统（Martín Abadi，Paul Barham，Jianmin Chen，Zhifeng Chen...）
术语“step time”或“training step time”是什么意思？为什么不简单地使用“train time”？

paper

1个回答
3
在神经网络场景中，epoch可以定义为所有训练样本的单次前向传递和反向传递。我们不会一次性将所有神经元输入到我们的网络中，而是选择一批神经元（小批量）并将它们输入进去。我们处理一小部分训练数据进行前向和后向处理。我们这样做是为了执行随机梯度下降，并防止我们的网络过度拟合。个别训练步骤时间和总训练时间之间存在差异。例如，如果您的网络有30个训练步骤，则总训练时间=完成所有30个训练步骤所需的时间。

enter image description here

请查看参考文献[15]以获取以下表格：

enter image description here

[15] S. Chintala. 卷积神经网络基准测试， github.com/soumith/convnet-benchmarks.

enter image description here

对于AlexNet，caffe的训练步骤时间为324毫秒。总时间=前向+后向=121+203

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接