我在时间序列上有一个下一步预测模型,它只是一个GRU,并在其顶部添加了一个全连接层。当我使用CPU进行训练时,在50个epochs后,损失为0.10,但是当我使用GPU进行训练时,50个epochs后的损失为0.15。在任何情况下,更多的epochs并不能降低损失。
为什么在CPU上训练后性能比GPU更好?
我尝试更改数据和模型的随机种子,这些结果与随机种子无关。
我有:
Python 3.6.2
PyTorch 0.3.0
CUDNN_MAJOR 7
CUDNN_MINOR 0
CUDNN_PATCHLEVEL 5
编辑:
我还在GRU和全连接层上使用了PyTorch的权重归一化torch.nn.utils.weight_norm。
为什么在CPU上训练后性能比GPU更好?
我尝试更改数据和模型的随机种子,这些结果与随机种子无关。
我有:
Python 3.6.2
PyTorch 0.3.0
CUDNN_MAJOR 7
CUDNN_MINOR 0
CUDNN_PATCHLEVEL 5
编辑:
我还在GRU和全连接层上使用了PyTorch的权重归一化torch.nn.utils.weight_norm。