TensorFlow递归连接的高效共享内存分配

Question

密集连接网络（DenseNets）在TensorFlow中往往会占用大量内存，因为每个concat操作都存储在单独的分配中。最近的一篇论文Memory-Efficient Implementation of DenseNets表明，通过共享分配可以显著减少这种内存利用率。该论文+pytorch实现的图像说明了共享内存方法：

如何使用TensorFlow实现这个？如果无法通过Python实现，如何在具有CPU和GPU支持的Op中正确实现它？

• Pytorch高效的DenseNet实现
• Keras DenseNet实现采用"naive"分配，可以与TensorFlow后端一起使用。

我已经为必要的分配功能创建了TensorFlow功能请求。

- Andrew Hundt

---

这是一个强大的想法，如果它不能在Python中实现，我不知道为什么，因为Python中绝对所有其他东西都可以使用这种技术。 - Alex Weavers

然而，如果Tensorflow所需的部分是用另一种语言编写的，则共享内存会被处理得不同或特别安排，否则当您替换它时，您将不得不进行重大手术，并且可能会出现许多级联问题和错误。 - Alex Weavers

Answer 1

现在提供了一种内存高效的实现，网址为：

https://github.com/joeyearsley/efficient_densenet_tensorflow

上述链接中相关的函数是：

# Gradient checkpoint the layer
_x = tf.contrib.layers.recompute_grad(_x)

- Andrew Hundt