pytorch使用指定GPU训练的实例
更新时间：2019年08月19日 15:21:52 作者：ax7399
今天小编就为大家分享一篇pytorch使用指定GPU训练的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
本文适合多GPU的机器，并且每个用户需要单独使用GPU训练。
虽然pytorch提供了指定gpu的几种方式，但是使用不当的话会遇到out of memory的问题，主要是因为pytorch会在第0块gpu上初始化，并且会占用一定空间的显存。这种情况下，经常会出现指定的gpu明明是空闲的，但是因为第0块gpu被占满而无法运行，一直报out of memory错误。
解决方案如下：
指定环境变量，屏蔽第0块gpu
CUDA_VISIBLE_DEVICES = 1 main.py
这句话表示只有第1块gpu可见，其他gpu不可用，此时要注意第1块gpu已经变成第0块，因此代码里应该使用编号0来指定gpu。如果依然使用cuda:1会报invalid device ordinal。
当然也可以在代码里使用os模块达到同样效果：
import os #多块使用逗号隔开 os.environ['CUDA_VISIBLE_DEVICES'] = '1'
使用torch.cuda.device with torch.cuda.device(1): ...
注意这种情况下gpu编号也会改变
关于这个问题的讨论，感兴趣的也可以去这里查看cuda out of memory error when GPU0 memory is fully utilized
以上这篇pytorch使用指定GPU训练的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
上篇文章我们介绍了简单的Python web程序，实现hello world，本文我们来结合一下mysql，实现对数据库的简单操作，希望对大家有所帮助2014-09-09
requests是一个很实用的Python HTTP客户端库,爬虫和测试服务器响应数据时经常会用到,下面这篇文章主要给大家介绍了关于python中requests库安装与使用的相关资料,需要的朋友可以参考下2022-07-07
这篇文章主要介绍了用Python解析XML的几种常见方法,包括快速的使用ElementTree模块等方法的实例介绍,需要的朋友可以参考下2015-04-04
这篇文章主要介绍了Python基类函数的重载与调用方法,实例分析了Python中基类函数的重载及调用技巧,具有一定参考借鉴价值,需要的朋友可以参考下2015-01-01
这篇文章主要为大家详细介绍了Python OpenCV实现图像轮廓的方法，文中的示例代码讲解详细，具有一定的借鉴价值，感兴趣的可以了解一下2022-09-09
下面小编就为大家分享一篇Python 读取图片文件为矩阵和保存矩阵为图片的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
如何使用django-treebeard实现树类型存储与编辑
这篇文章主要介绍了使用django-treebeard实现树类型存储与编辑的宣相关操作代码,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧2024-08-08
这篇文章主要介绍了关于python爬虫模块urllib库详解,学习爬虫，最初的操作便是模拟浏览器向服务端发出请求，这里我们就学习使用urlib库的用法,需要的朋友可以参考下2023-07-07
Pandas 是 python 的一个数据分析包，属于PyData项目的一部分。下面这篇文章主要介绍了Python中科学计算之Pandas,需要的朋友可以参考借鉴，下面来一起学习学习。2017-01-01
python中Ansible模块的Playbook的具体使用
这篇文章主要介绍了python中Ansible模块的Playbook的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-05-05
最新评论