解决Pytorch 训练与测试时爆显存(out of memory)的问题
更新时间：2019年08月20日 13:45:37 作者：xiaoxifei
今天小编就为大家分享一篇解决Pytorch 训练与测试时爆显存(out of memory)的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 训练时有时候会因为加载的东西过多而爆显存，有些时候这种情况还可以使用cuda的清理技术进行修整，当然如果模型实在太大，那也没办法。
使用torch.cuda.empty_cache()删除一些不需要的变量代码示例如下：
try:
output = model(input)
except RuntimeError as exception:
if "out of memory" in str(exception):
print("WARNING: out of memory")
if hasattr(torch.cuda, 'empty_cache'):
torch.cuda.empty_cache()
else:
raise exception
测试的时候爆显存有可能是忘记设置no_grad, 示例代码如下：
with torch.no_grad():
for ii,(inputs,filelist) in tqdm(enumerate(test_loader), desc='predict'):
if opt.use_gpu:
inputs = inputs.cuda()
if len(inputs.shape) < 4:
inputs = inputs.unsqueeze(1)
else:
if len(inputs.shape) < 4:
inputs = torch.transpose(inputs, 1, 2)
inputs = inputs.unsqueeze(1)
以上这篇解决Pytorch 训练与测试时爆显存(out of memory)的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
冒泡排序（Bubble Sort）是一种简单的排序算法。本文将详细为大家讲讲Python实现冒泡排序算法的方法，感兴趣的小伙伴可以跟随小编一起学习一下2022-06-06
这篇文章主要介绍了python利用K-Means算法实现对数据的聚类，本文通过案例讲解的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2021-04-04
这篇文章主要介绍了使用python实现简易五子棋小游戏,文中提供了三种实现方式,解决思路和部分实现代码,感兴趣的朋友可以参考下2023-03-03
今天小编就为大家分享一篇python操作cfg配置文件方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
今天小编就为大家分享一篇解决python给列表里添加字典时被最后一个覆盖的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了解决Numpy与Pytorch彼此转换时的坑，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-05-05
这篇文章主要介绍了sklearn和keras的数据切分与交叉验证的实例详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
这篇文章主要为大家分享了python中PIL安装简单教程，感兴趣的小伙伴们可以参考一下2016-04-04
这篇文章主要介绍了基于python实现ROC曲线绘制广场解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-06-06
在Python中，可以使用Python-docx库来操作Word文档，所以下面小编就为大家介绍一下如何利用Python-docx实现多个Word文档合并功能吧，需要的可以参考一下2023-06-06
最新评论