我已经训练了3个模型，并且正在运行代码，按顺序加载每个模型的3个检查点并使用它们进行预测。我正在使用GPU。
当第一个模型被加载时，它会预先分配整个GPU内存（这是我用来处理第一批数据的）。但是它完成后不会卸载内存。当加载第二个模型时，即使在使用tf.reset_default_graph()和with tf.Graph().as_default()时，第一个模型仍然完全占用了GPU内存，第二个模型就会因为缺乏内存而无法运行。
是否有其他解决方法，而不是使用Python子进程或多进程来解决这个问题（这是我通过谷歌搜索找到的唯一解决方案）？
您可以使用 numba 库来释放所有 GPU 内存。
pip install numba
from numba import cuda
device = cuda.get_current_device()
device.reset()
这将释放所有内存
2016年6月的一篇git问题（https://github.com/tensorflow/tensorflow/issues/1727）指出存在以下问题：
目前GPUDevice中的内存分配器属于ProcessState，它本质上是一个全局单例。使用GPU的第一个会话初始化它，并在进程关闭时释放自己。
因此，唯一的解决方法是在计算后使用进程并关闭它们。
示例代码:
import tensorflow as tf
import multiprocessing
import numpy as np
def run_tensorflow():
n_input = 10000
n_classes = 1000
# Create model
def multilayer_perceptron(x, weight):
# Hidden layer with RELU activation
layer_1 = tf.matmul(x, weight)
return layer_1
# Store layers weight & bias
weights = tf.Variable(tf.random_normal([n_input, n_classes]))
x = tf.placeholder("float", [None, n_input])
y = tf.placeholder("float", [None, n_classes])
pred = multilayer_perceptron(x, weights)
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=pred, labels=y))
optimizer = tf.train.AdamOptimizer(learning_rate=0.001).minimize(cost)
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
for i in range(100):
batch_x = np.random.rand(10, 10000)
batch_y = np.random.rand(10, 1000)
sess.run([optimizer, cost], feed_dict={x: batch_x, y: batch_y})
print "finished doing stuff with tensorflow!"
if __name__ == "__main__":
# option 1: execute code with extra process
p = multiprocessing.Process(target=run_tensorflow)
p.start()
p.join()
# wait until user presses enter key
raw_input()
# option 2: just execute the function
run_tensorflow()
# wait until user presses enter key
raw_input()
如果你在创建的进程中调用函数run_tensorflow()并关闭该进程（选项1），则会释放内存。如果仅运行run_tensorflow()（选项2），则在函数调用后不会释放内存。
spawn，但在*nix系统上使用fork。如果您发现在单独的进程中运行的模型无法使用GPU，即在检查跨平台兼容性时tf.test.is_gpu_available为False，则可以使用multiprocessing.get_context('spawn')强制选择状态。 spawn可用于Windows、Linux和MacOS。有关上下文的更多信息，请参见此处。 - mradul dubey我使用 numba 来释放 GPU。但是在 TensorFlow 中，我找不到有效的方法。
import tensorflow as tf
from numba import cuda
a = tf.constant([1.0,2.0,3.0],shape=[3],name='a')
b = tf.constant([1.0,2.0,3.0],shape=[3],name='b')
with tf.device('/gpu:1'):
c = a+b
TF_CONFIG = tf.ConfigProto(
gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.1),
allow_soft_placement=True)
sess = tf.Session(config=TF_CONFIG)
sess.run(tf.global_variables_initializer())
i=1
while(i<1000):
i=i+1
print(sess.run(c))
sess.close() # if don't use numba,the gpu can't be released
cuda.select_device(1)
cuda.close()
with tf.device('/gpu:1'):
c = a+b
TF_CONFIG = tf.ConfigProto(
gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.5),
allow_soft_placement=True)
sess = tf.Session(config=TF_CONFIG)
sess.run(tf.global_variables_initializer())
while(1):
print(sess.run(c))
cuda.close(1) 后，尝试运行 tf.Session() 时，代码报错并提示 tensorflow.python.framework.errors_impl.InternalError: Failed to create session. 前面还有一句 Failed precondition: Failed to memcopy into scratch buffer for device 0。 - guillefixdel model_object gc.collect() from numba import cuda cuda.select_device(0)和cuda.close()。 - Deepak Sadulla我刚刚通过垃圾收集器解决了一个OOM错误。
import gc
gc.collect()
model.evaluate(x1, y1)
gc.collect()
model.evaluate(x2, y2)
gc.collect()
根据Yaroslav Bulatov在他们的回答中所说（即tf在对象销毁时释放GPU内存），我推断可能只是垃圾回收器还没有运行。强制进行垃圾回收使我摆脱了问题，所以这可能是一个好方法。
# open a new process to run function
def process_run(func, *args):
def wrapper_func(queue, *args):
try:
logger.info('run with process id: {}'.format(os.getpid()))
result = func(*args)
error = None
except Exception:
result = None
ex_type, ex_value, tb = sys.exc_info()
error = ex_type, ex_value,''.join(traceback.format_tb(tb))
queue.put((result, error))
def process(*args):
queue = Queue()
p = Process(target = wrapper_func, args = [queue] + list(args))
p.start()
result, error = queue.get()
p.join()
return result, error
result, error = process(*args)
return result, error
我正在考虑在Jupyter Notebook中选择哪种选项更好。即使深度学习应用程序已经完成，Jupyter Notebook仍会永久占用GPU内存。这通常会导致GPU风扇错误，是一个大问题。在这种情况下，我必须定期重置nvidia_uvm并重新启动Linux系统。我总结出以下两个选项可以消除GPU风扇错误的问题，但想知道哪个更好。
环境：
第一种选项
将以下代码放在最后一个单元格中。应用程序运行时，内核立即结束。但它并不太优雅。Jupyter会弹出一个消息，表示内核已死亡。
import os
pid = os.getpid()
!kill -9 $pid
选择项
以下代码也可以用于结束Jupyter Notebook的内核。我不知道numba是否安全。Nvidia更喜欢“0” GPU，这是个人开发者（而不是服务器管理员）最常用的GPU。但是，Neil G和mradul dubey都得到了这样的反应：这会导致GPU处于糟糕的状态。
from numba import cuda
cuda.select_device(0)
cuda.close()
看起来第二个选项更优雅。有人能确认哪个是最好的选择吗？
备注：
在Anaconda环境下，通过直接执行“$ python abc.py”来自动释放GPU内存并不是问题。但是，我有时需要使用Jyputer Notebook来处理.ipynb应用程序。
cuda.close()后运行任何代码，则会出现“无法同步CUDA流：CUDA_ERROR_INVALID_HANDLE：无效的资源句柄”错误，是否有方法可以清除CUDA内存而不出现此错误？ - Hemanth Kolliparanvidia-smi不能正确显示GPU上的内存。我尝试了tf.reset_default_graph()，然后重建了以前的图形，但是我遇到了OOM错误，这表明nvidia-smi正确地显示了内存。有什么想法吗？ - Diego Aguadotf.keras.backend.clear_session()
import os, signal
os.kill(os.getpid(), signal.SIGKILL)
with将Session作为上下文）也应该可以工作，不是吗？ - etarionwith ... sess:并尝试过sess.close()。GPU内存并没有被清除，清除默认图并重新构建它似乎并不起作用。也就是说，即使在模型之间放置10秒的暂停，我也看不到nvidia-smi上GPU内存被清除。这并不一定意味着tensorflow在幕后没有正确处理事情，只是保持其内存分配不变。但我在验证这种推理时遇到了麻烦。 - David Parksnvidia-smi不能正确报告可供 TensorFlow 使用的内存量。当 TensorFlow 计算释放内存时，它仍会显示为被外部工具所占用，但此内存可供 TensorFlow 中的其他计算使用。 - Yaroslav Bulatov