我对并行计算(包括一些CUDA)、前馈神经网络和循环神经网络(以及它们如何使用BPTT)有基本的了解。
例如,当使用TensorFlow时,您可以在网络的训练阶段应用GPU加速。但是,循环神经网络具有时间步骤,其中当前时间步骤依赖于先前的时间步骤,而下一个时间步骤则依赖于当前时间步骤等等。
既然情况是这样,GPU加速是如何起作用的呢?是否所有可以并行计算的部分都是以这种方式计算的,而时间步骤相关的部分则是串行化的呢?
例如,当使用TensorFlow时,您可以在网络的训练阶段应用GPU加速。但是,循环神经网络具有时间步骤,其中当前时间步骤依赖于先前的时间步骤,而下一个时间步骤则依赖于当前时间步骤等等。
既然情况是这样,GPU加速是如何起作用的呢?是否所有可以并行计算的部分都是以这种方式计算的,而时间步骤相关的部分则是串行化的呢?