我最近很喜欢使用keras，我想知道如何解决这个问题。
我有一个包含100张图片的序列。它们是100天连续日的雷达地图图像。我想预测明天的图片。
这些图像可以被解释为n x m维矩阵（不是正方形）。
这是否可以适应于lstm神经网络？你会如何解决这个问题？
感谢分享思路！
我有一个包含100张图片的序列。它们是100天连续日的雷达地图图像。我想预测明天的图片。
这些图像可以被解释为n x m维矩阵（不是正方形）。
这是否可以适应于lstm神经网络？你会如何解决这个问题？
感谢分享思路！
1个回答
5
这个问题已经通过生成对抗网络（GAN）和循环神经网络（RNN）得到了解决，且效果还不错。
其中一个相当成功的使用GAN的方法，由Facebook AI Research here 提出，使用了多尺度生成器。基本上，你需要在各种尺度下采样图像，然后预测该特定低分辨率的下一帧。然后使用上采样的预测帧和下一个更高分辨率的原始帧来预测该更高尺度的下一帧，依此类推。多尺度聚合有助于防止模糊并保留细节。你可以在here找到代码。
更近期的一种方法是使用自编码器和GAN的组合，基本上是将变分编码器反复压缩整个视频流到潜在空间中，然后使用不同的网络来从潜在空间表示中预测流和下一帧。然后融合下一帧以及来自预测流的信息。你可以阅读here论文了解详情。
其中一个相当成功的使用GAN的方法，由Facebook AI Research here 提出，使用了多尺度生成器。基本上，你需要在各种尺度下采样图像，然后预测该特定低分辨率的下一帧。然后使用上采样的预测帧和下一个更高分辨率的原始帧来预测该更高尺度的下一帧，依此类推。多尺度聚合有助于防止模糊并保留细节。你可以在here找到代码。
更近期的一种方法是使用自编码器和GAN的组合，基本上是将变分编码器反复压缩整个视频流到潜在空间中，然后使用不同的网络来从潜在空间表示中预测流和下一帧。然后融合下一帧以及来自预测流的信息。你可以阅读here论文了解详情。
康奈尔大学提出了一种不需要使用GAN的方法。这种方法相当复杂，但简单来说，他们使用堆叠LSTM，并将误差信号传播到更多的LSTM层，这些层的工作是预测下一帧的误差。这是论文。
还有其他方法，但这些方法似乎被广泛引用，并且在网上有可用的代码。
- rajat
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接