Pytorch反向求导更新网络参数的方法
更新时间：2019年08月17日 17:57:56 作者：tsq292978891
今天小编就为大家分享一篇Pytorch反向求导更新网络参数的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
方法一：手动计算变量的梯度，然后更新梯度
import torch from torch.autograd import Variable # 定义参数 w1 = Variable(torch.FloatTensor([1,2,3]),requires_grad = True) # 定义输出 d = torch.mean(w1) # 反向求导 d.backward() # 定义学习率等参数 lr = 0.001 # 手动更新参数 w1.data.zero_() # BP求导更新参数之前,需先对导数置0 w1.data.sub_(lr*w1.grad.data)
一个网络中通常有很多变量,如果按照上述的方法手动求导,然后更新参数,是很麻烦的,这个时候可以调用torch.optim
方法二：使用torch.optim
import torch from torch.autograd import Variable import torch.nn as nn import torch.optim as optim # 这里假设我们定义了一个网络,为net steps = 10000 # 定义一个optim对象 optimizer = optim.SGD(net.parameters(), lr = 0.01) # 在for循环中更新参数 for i in range(steps): optimizer.zero_grad() # 对网络中参数当前的导数置0 output = net(input) # 网络前向计算 loss = criterion(output, target) # 计算损失 loss.backward() # 得到模型中参数对当前输入的梯度 optimizer.step() # 更新参数
注意：torch.optim只用于参数更新和对参数的梯度置０，不能计算参数的梯度，在使用torch.optim进行参数更新之前，需要写前向与反向传播求导的代码
以上这篇Pytorch反向求导更新网络参数的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python MRO方法搜索顺序，文中代码和图片解释的非常详细，可以很好的带大家学习相关知识内容，感兴趣的小伙伴可以参考一下这篇文章2021-09-09
Python通用验证码识别OCR库ddddocr的安装使用教程
dddd_ocr是一个用于识别验证码的开源库,又名带带弟弟ocr,下面这篇文章主要给大家介绍了关于Python通用验证码识别OCR库ddddocr的安装使用教程,文中通过示例代码介绍的非常详细,需要的朋友可以参考下2022-07-07
灰度变换是指根据某种目标条件按一定变换关系逐点改变源图像中每个像素灰度值的方法。目的是改善画质，使图像显示效果更加清晰。图像的灰度变换处理是图像增强处理技术中的一种非常基础、直接的空间域图像处理方法，也是图像数字化软件和图像显示软件的一个重要组成部分2022-10-10
数据结构中有很多树的结构，其中包括二叉树、二叉搜索树、2-3树、红黑树等等。本文中对数据结构中常见的树逻辑结构和存储结构进行了汇总，不求严格精准，但求简单易懂2021-11-11
下面小编就为大家分享一篇python 实现在txt指定行追加文本的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-04-04
这篇文章主要给大家介绍了关于python使用正则表达式匹配txt特定字符串的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
这篇文章主要给大家介绍了关于pandas参数设置的实用小技巧，文中通过实例代码结束的非常详细，对大家学习或者使用pandas具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧2020-08-08
这篇文章主要介绍了python format格式化和数字格式化，格式化字符串的函数 str.format()，它增强了字符串格式化的功能，基本语法是通过{} 和 : 来代替以前的 % ，下面内容介绍,需要的朋友可以参考一下2022-02-02
这篇文章主要给大家介绍了关于Python通过命令提示符安装matplotlib的相关资料,文中还介绍了离线安装这一种方法,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2021-11-11
本文主要介绍了numpy.reshape()的函数的具体使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-02-02
最新评论