简述python&pytorch 随机种子的实现
随机数广泛应用在科学研究, 但是计算机无法产生真正的随机数, 一般成为伪随机数. 它的产生过程: 给定一个随机种子(一个正整数), 根据随机算法和种子产生随机序列. 给定相同的随机种子, 计算机产生的随机数列是一样的(这也许是伪随机的原因).
随机种子是什么？
随机种子是针对随机方法而言的。
随机方法：常见的随机方法有 生成随机数，以及其他的像 随机排序 之类的，后者本质上也是基于生成随机数来实现的。在深度学习中，比较常用的随机方法的应用有：网络的随机初始化，训练集的随机打乱等。
随机种子的取值范围？
可以是任意数字，如10，1000
python random
下面以python的random函数为例, 做了一个测试.
当用户未指定随机种子, 系统默认随机生成, 一般与系统当前时间有关.用户指定随机种子后, 使用随机函数产生的随机数可以复现.种子确定后, 每次使用随机函数相当于从随机序列去获取随机数, 每次获取的随机数是不同的.
pytorch
使用pytorch复现效果时, 总是无法做到完全的复现. 同一份代码运行两次, 有时结果差异很大. 这是由于算法中的随机性导致的. 要想每次获得的结果一致, 必须固定住随机种子. 首先, 我们需要找到算法在哪里使用了随机性, 再相应的固定住随机种子.
def seed_torch():
seed = 1024 # 用户设定
# seed = int(time.time()*256)
# 保存随机种子
with open('seed.txt', 'w') as f:
f.write(str(seed))
random.seed(seed)
os.environ['PYTHONHASHSEED'] = str(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True
seed_torch()
上面的代码固定了pytorch常用的随机种子, 但是如果你在预处理中涉及了随机性, 也需要固定住.
为了复现结果, 我们固定住了随机种子. 但pytorch训练模型时, 不同的随机种子会产生不同的结果. 每次使用固定的随机种子, 可能错失好的结果. 为此, 我们可以每次使用不一样的随机种子, 并保存下来
到此这篇关于简述python&pytorch 随机种子的实现的文章就介绍到这了,更多相关pytorch 随机种子内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了Python接口自动化测试的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
遗传算法(GA)是七十年代被霍兰德提出来的，那还是8086的时代，但在如今的3nm时代，仍然散发着经典的光辉，下面我们就来看看如何利用Python实现遗传算法吧2023-08-08
matplotlib如何设置坐标轴刻度的个数及标签的方法总结
这里介绍两种设置坐标轴刻度的方法,一种是利用pyplot提交的api去进行设置,另一种是通过调用面向对象的api, 即通过matplotlib.axes.Axes去设置,需要的朋友可以参考下2021-06-06
这篇文章主要介绍了Python安装Graphviz超详细教程,本文通过图文并茂的形式给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-02-02
详解win10下pytorch-gpu安装以及CUDA详细安装过程
这篇文章主要介绍了win10下pytorch-gpu安装以及CUDA详细安装过程,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
列表的删操作指的是在列表中删除已存在的元素，列表中的元素被删除后，后面所有的元素依次往前移动一位，挂在被删除元素的索引下，保证每一个索引都有元素，这篇文章主要介绍了Python列表对象中元素的删除操作方法,需要的朋友可以参考下2022-12-12
Python中利用Scipy包的SIFT方法进行图片识别的实例教程
SIFT算法可以检测图片中的局部特征,算法原理相当复杂...但是!Python强大的第三方包Scipy中带有实现SIFT算法的SIFT方法,我们只要拿来用就可以了,下面就为大家带来Python中利用Scipy包的SIFT方法进行图片识别的实例教程.2016-06-06
Python对数据排序有两种方法：下面我们来简单分析下2014-05-05
下面小编就为大家分享一篇解决python3爬虫无法显示中文的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
这篇文章主要介绍了Python多线程扫描端口代码示例，分享了相关代码示例，小编觉得还是挺不错的，具有一定借鉴价值，需要的朋友可以参考下2018-02-02
最新评论