pytorch多GPU并行运算的实现
更新时间：2019年09月27日 11:45:14 作者：FelixCoder
这篇文章主要介绍了pytorch多GPU并行运算的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Pytorch多GPU运行
设置可用GPU环境变量。例如，使用0号和1号GPU'
os.environ["CUDA_VISIBLE_DEVICES"] = '0,1'
设置模型参数放置到多个GPU上。在pytorch1.0之后的版本中，多GPU运行变得十分方便，先将模型的参数设置并行
if torch.cuda.device_count() > 1:
print("Let's use", torch.cuda.device_count(), "GPUs!")
model = nn.DataParallel(model)
将模型参数设置使用GPU运行
if torch.cuda.is_available():
model.cuda()
踩坑记录
在训练中，需要使用验证集/测试集对目前的准确率进行测试，验证集/测试集的加载也会占用部分显存，所以在训练开始时，不要将所有显存都几乎占满，稍微留一些显存给训练过程中的测试环节
pytorch并行后，假设batchsize设置为64，表示每张并行使用的GPU都使用batchsize=64来计算（单张卡使用时，使用batchsize=64比较合适时，多张卡并行时，batchsize仍为64比较合适，而不是64*并行卡数）。
参考
https://www.zhihu.com/question/67726969
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python判断字符串是否包含子字符串的方法,实例分析了Python中的in与find方法来实现这一功能,非常具有实用价值,需要的朋友可以参考下2015-03-03
这篇文章主要介绍了python实现百度OCR图片识别过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-01-01
这篇文章主要为大家介绍了Java开发者如何快速进修Python指南之面向对象高级使用示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-12-12
自动求导是一种计算梯度的技术，它允许我们在定义模型时不需要手动推导梯度计算公式，PyTorch 提供了自动求导的功能，使得梯度的计算变得非常简单和高效，这篇文章主要介绍了Pytorch自动求导机制详解,需要的朋友可以参考下2023-07-07
这篇文章主要介绍了Hadoop中的Python框架的使用指南,Hadoop一般使用复杂的Java操作,但通过该框架使得Python脚本操作Hadoop成为了可能,需要的朋友可以参考下2015-04-04
这篇文章主要为大家介绍了pydantic进阶用法示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2023-03-03
这篇文章主要介绍了keras 自定义loss层+接受输入实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
这篇文章主要介绍了Python爬虫之requests基础用法详解,虽然Python的标准库中urllib模块已经包含了平常我们使用的大多数功能,但是它的API使用起来让人感觉不太友好,而requests库使用更简洁方便,需要的朋友可以参考下2023-10-10
这篇文章主要介绍了python中print输出有空格的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
今天小编就为大家分享一篇Python 批量合并多个txt文件的实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
最新评论