PyTorch 如何设置随机数种子使结果可复现
更新时间：2021年05月12日 11:55:00 作者：浅笑顾盼
这篇文章主要介绍了PyTorch 设置随机数种子使结果可复现操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
由于在模型训练的过程中存在大量的随机操作，使得对于同一份代码，重复运行后得到的结果不一致。
因此，为了得到可重复的实验结果，我们需要对随机数生成器设置一个固定的种子。
CUDNN
cudnn中对卷积操作进行了优化，牺牲了精度来换取计算效率。如果需要保证可重复性，可以使用如下设置:
from torch.backends import cudnn cudnn.benchmark = False # if benchmark=True, deterministic will be False cudnn.deterministic = True
不过实际上这个设置对精度影响不大，仅仅是小数点后几位的差别。所以如果不是对精度要求极高，其实不太建议修改，因为会使计算效率降低。
Pytorch
torch.manual_seed(seed) # 为CPU设置随机种子 torch.cuda.manual_seed(seed) # 为当前GPU设置随机种子 torch.cuda.manual_seed_all(seed) # 为所有GPU设置随机种子
Python & Numpy
如果读取数据的过程采用了随机预处理(如RandomCrop、RandomHorizontalFlip等)，那么对python、numpy的随机数生成器也需要设置种子。
import random import numpy as np random.seed(seed) np.random.seed(seed)
Dataloader
如果dataloader采用了多线程(num_workers > 1), 那么由于读取数据的顺序不同，最终运行结果也会有差异。
也就是说，改变num_workers参数，也会对实验结果产生影响。
目前暂时没有发现解决这个问题的方法，但是只要固定num_workers数目（线程数）不变，基本上也能够重复实验结果。
补充：pytorch 固定随机数种子踩过的坑
1.初步固定
def setup_seed(seed):
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.cuda.manual_seed(seed)
np.random.seed(seed)
random.seed(seed)
torch.backends.cudnn.deterministic = True
torch.backends.cudnn.enabled = False
torch.backends.cudnn.benchmark = False
#torch.backends.cudnn.benchmark = True #for accelerating the running
setup_seed(2019)
2.继续添加如下代码：
tensor_dataset = ImageList(opt.training_list,transform)
def _init_fn(worker_id):
random.seed(10 + worker_id)
np.random.seed(10 + worker_id)
torch.manual_seed(10 + worker_id)
torch.cuda.manual_seed(10 + worker_id)
torch.cuda.manual_seed_all(10 + worker_id)
dataloader = DataLoader(tensor_dataset,
batch_size=opt.batchSize,
shuffle=True,
num_workers=opt.workers,
worker_init_fn=_init_fn)
3.在上面的操作之后发现加载的数据多次试验大部分一致了
但是仍然有些数据是不一致的，后来发现是pytorch版本的问题，将原先的0.3.1版本升级到1.1.0版本，问题解决
4.按照上面的操作后虽然解决了问题
但是由于将cudnn.benchmark设置为False，运行速度降低到原来的1/3，所以继续探索，最终解决方案是把第1步变为如下，同时将该部分代码尽可能放在主程序最开始的部分，例如：
import torch
import torch.nn as nn
from torch.nn import init
import pdb
import torch.nn.parallel
import torch.nn.functional as F
import torch.backends.cudnn as cudnn
import torch.optim as optim
import torch.utils.data
from torch.utils.data import DataLoader, Dataset
import sys
gpu_id = "3,2"
os.environ["CUDA_VISIBLE_DEVICES"] = gpu_id
print('GPU: ',gpu_id)
def setup_seed(seed):
torch.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.cuda.manual_seed(seed)
np.random.seed(seed)
random.seed(seed)
cudnn.deterministic = True
#cudnn.benchmark = False
#cudnn.enabled = False
setup_seed(2019)
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。如有错误或未考虑完全的地方，望不吝赐教。
相关文章
最近线上运行的一个python任务负责处理一批数据,为提高处理效率,使用了python进程池,并会打印log,本文给大家分析了Python进程池log死锁问题以及解决方法,需要的朋友可以参考下2024-01-01
这篇文章主要介绍了Python OpenCV高斯金字塔与拉普拉斯金字塔的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-03-03
用python打包exe应用程序及PyInstaller安装方式
PyInstaller 制作出来的执行文件并不是跨平台的，如果需要为不同平台打包，就要在相应平台上运行PyInstaller进行打包。今天通过本文给大家介绍用python打包exe应用程序及PyInstaller安装方式，感兴趣的朋友一起看看吧2021-12-12
python已经支持WAV格式的书写,下面这篇文章主要给大家介绍了关于python常见读取语音的3种方法速度对比的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-12-12
Python多线程编程threading模块使用最佳实践及常见问题解析
这篇文章主要为大家介绍了Python多线程编程threading模块使用最佳实践及常见问题解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
这篇文章主要介绍了Python中处理表格数据的Tablib库详解,Tablib 是一个 MIT 许可的格式不可知的表格数据集库，用 Python 编写,它允许您导入、导出和操作表格数据集,需要的朋友可以参考下2023-08-08
这篇文章主要从函数开始介绍展开Python函数，以最基本的函数定义方法描述,需要的朋友可以参考下文简单的介绍2021-08-08
Django模版引擎中最强大也是最复杂的部分就是模版继承了，页面的代码很多，随随便便就是几百行代码，但是每个页面之中都有相同的元素。本文主要介绍了Django模板的继承及引用，感兴趣的可以了解一下2021-08-08
这篇文章主要介绍了python求最大连续子数组的和，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-07-07
这篇文章主要给大家介绍了关于Python控制台输出俄罗斯方块的相关资料,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-04-04
最新评论