我认为这是一个对于GPU内存较低的PyTorch用户来说非常普遍的信息：
RuntimeError: CUDA out of memory. Tried to allocate X MiB (GPU X; X GiB total capacity; X GiB already allocated; X MiB free; X cached)
我尝试通过将每个图层加载到GPU上并再次加载回来来处理图像：
for m in self.children():
m.cuda()
x = m(x)
m.cpu()
torch.cuda.empty_cache()
但似乎并不是非常有效。我在想是否有什么技巧可以在使用较少GPU内存的情况下训练大型深度学习模型。
虽然
import torch
torch.cuda.empty_cache()
提供了清除已占用cuda内存的良好替代方法，我们也可以通过使用以下命令手动清除未使用的变量：
import gc
del variables
gc.collect()
但即使使用这些命令后，错误可能会再次出现，因为 PyTorch 实际上并没有清除内存，而是清除了变量所占用的内存的引用。
因此，在重启内核并找到最佳批处理大小后减少批处理大小是最好的选择（但有时不太可行）。
另一种更深入地了解 GPU 内存分配的方法是使用：
torch.cuda.memory_summary(device=None, abbreviated=False)
其中两个参数都是可选的。这提供了一个易于阅读的内存分配摘要，并使您能够找出CUDA内存耗尽的原因并重新启动内核以避免再次发生错误（就像我在我的情况下所做的那样）。
逐层传递数据可能有所帮助，但改变网络层的大小或将其分解也会证明是有效的（例如，在进行迁移学习时，有时模型占用了显著的内存）。
torch.cuda.memory_summary()函数可以得到一份易读的内存分配摘要，从而帮助你找出CUDA内存耗尽的原因。但是，打印出来的结果似乎没有任何详细信息可以解决问题。结果显示了分配的内存、活动内存、GPU保留内存等行。那么我应该看哪些内容，并采取什么措施呢？ - stackoverflowuser2010print(torch.cuda.memory_summary(device=None, abbreviated=False)) 以获得美观的信息。 - Elvin Aghammadzada只需要减小批量大小(batch size)，程序就可以运行了。在我的训练过程中，出现了以下错误：
CUDA内存不足。尝试分配20.00 MiB（GPU 0；10.76 GiB总容量；已分配4.29 GiB；剩余10.12 MiB；PyTorch总共保留4.46 GiB）
我使用的批量大小为32。因此，我将批量大小改为15，这样就可以正常运行。
将批次迭代地发送到CUDA，并使用较小的批次大小。不要一开始就将所有数据一次性发送到CUDA。相反，按照以下方式进行：
for e in range(epochs):
for images, labels in train_loader:
if torch.cuda.is_available():
images, labels = images.cuda(), labels.cuda()
# blablabla
torch.cuda.empty_cache()无法帮助解决此问题，尽管它可能应该可以...:( - David尽量不要拉开您的分数。
当我试图在所有批次中总结损失时，我遇到了相同的错误。
loss = self.criterion(pred, label)
total_loss += loss
然后我使用了loss.item而不是需要grads的loss，从而解决了问题。
loss = self.criterion(pred, label)
total_loss += loss.item()
绝大部分内容都已覆盖，但还需添加一些细节。
如果 torch 显示错误信息 "Tried to allocate 2 MiB" 等，这实际上是一个误导性的信息。事实上，CUDA 运行时缺少训练模型所需的总内存。您可以减少批处理大小。例如，即使批处理大小为1也无法正常工作（当您使用海量序列训练NLP模型时可能会出现此问题），请尝试传递更少的数据，这将帮助您确定GPU没有足够的内存来训练模型。
另外，如果您要重新训练模型，则必须再次进行垃圾回收和清理缓存的操作。
with torch.no_grad():
for m in self.children():
m.cuda()
m.eval()
x = m(x)
m.cpu()
torch.cuda.empty_cache()
这可能看起来很显而易见，但它对我的情况奏效了。我试图使用BERT将句子转换为嵌入表示。由于BERT是预训练模型，我不需要保存所有梯度，并且它们会消耗所有GPU的内存。
按照以下步骤进行操作：
在我使用 Kaggle 内核来训练 Common Voice 数据集时，同样的错误也会出现。我采用了减少训练数据至20000，批次大小为16，模型参数为112K 的方法解决了这个问题。
有方法可以避免，但这肯定取决于您的GPU内存大小：
features, labels in batch:
features, labels = features.to(device), labels.to(device)
.detach()方法将不需要的张量从GPU中移除。如果以上所有方法都得到了正确使用，那么PyTorch库已经高度优化和高效。
我看没人建议在垃圾收集后等待。如果没有帮助，可以尝试在垃圾被收集前等待。尝试这样做：
import torch
import time
import gc
from pynvml import nvmlInit, nvmlDeviceGetHandleByIndex, nvmlDeviceGetMemoryInfo
def clear_gpu_memory():
torch.cuda.empty_cache()
gc.collect()
del variables
def wait_until_enough_gpu_memory(min_memory_available, max_retries=10, sleep_time=5):
nvmlInit()
handle = nvmlDeviceGetHandleByIndex(torch.cuda.current_device())
for _ in range(max_retries):
info = nvmlDeviceGetMemoryInfo(handle)
if info.free >= min_memory_available:
break
print(f"Waiting for {min_memory_available} bytes of free GPU memory. Retrying in {sleep_time} seconds...")
time.sleep(sleep_time)
else:
raise RuntimeError(f"Failed to acquire {min_memory_available} bytes of free GPU memory after {max_retries} retries.")
# Usage example
min_memory_available = 2 * 1024 * 1024 * 1024 # 2GB
clear_gpu_memory()
wait_until_enough_gpu_memory(min_memory_available)
可能看起来过于简单，但对我很有效；我只是关闭了我的VScode，然后重新打开它，然后重新启动并运行了所有的单元格。
torch.cuda.empty_cache()没有起作用。相反，我首先禁用了 GPU，然后重新启动内核，并重新激活了 GPU。这对我起了作用。 - multitudes