pytorch的梯度计算以及backward方法详解

 更新时间:2020年01月10日 08:36:25   作者:chen_you_Nick  
今天小编就为大家分享一篇pytorch的梯度计算以及backward方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧

基础知识

tensors:

tensor在pytorch里面是一个n维数组。我们可以通过指定参数reuqires_grad=True来建立一个反向传播图,从而能够计算梯度。在pytorch中一般叫做dynamic computation graph(DCG)——即动态计算图。

import torch
import numpy as np

# 方式一
x = torch.randn(2,2, requires_grad=True)

# 方式二
x = torch.autograd.Variable(torch.Tensor([2,3]), requires_grad=True)

#方式三
x = torch.tensor([2,3], requires_grad=True, dtype=torch.float64)

# 方式四
x = np.array([1,2,3] ,dtype=np.float64)
x = torch.from_numpy(x)
x.requires_grad = True
# 或者 x.requires_grad_(True)

note1:在pytorch中,只有浮点类型的数才有梯度,故在方法四中指定np数组的类型为float类型。为什么torch.Tensor中不需要呢,可以通过以下代码验证

import torch
import numpy as np

a = torch.Tensor([2,3])
print(a.dtype) # torch.floaat32

b = torch.tensor([2,3])
print(b.dtype) # torch.int64

 c = np.array(2,3)
 print(c.dtype) # int64

note2pytorch中tensor与Tensor的区别是什么?这两个看起来如此相似。

首先,torch.Tensor是一个类,所有的tensor都是Tensor的一个实例;而torch.tensor是一个函数。这也说明了为什么使用torch.Tensor()没有问题而torch.tensor()却有问题。

其次,torch.tensor主要是将一个data封装成tensor,并且可以指定requires_grad。

torch.tensor(data,dtype=None,device=None,requires_grad=False) - > Tensor

最后,我们更多地使用torch.tensor,我们可以通过使用torch.tensor(())来达到与torch.Tensor()同样的效果。

具体可参考torch.tensor与torch.Tensor的区别

Dynamic Computational graph

我们来看一个计算图

我们 来看一个计算图 解释一下各个属性的含义,

data: 变量中存储的值,如x中存储着1,y中存储着2,z中存储着3

requires_grad:该变量有两个值,True 或者 False,如果为True,则加入到反向传播图中参与计算。

grad:该属性存储着相关的梯度值。当requires_grad为False时,该属性为None。即使requires_grad为True,也必须在调用其他节点的backward()之后,该变量的grad才会保存相关的梯度值。否则为None

grad_fn:表示用于计算梯度的函数。

is_leaf:为True或者False,表示该节点是否为叶子节点。

当调用backward函数时,只有requires_grad为true以及is_leaf为true的节点才会被计算梯度,即grad属性才会被赋予值。

梯度计算

examples

运算结果变量的requires_grad取决于输入变量。例如:当变量z的requires_grad属性为True时,为了求得z的梯度,那么变量b的requires_grad就必须为true了,而变量x,y,a的requires_grad属性都为False。

将事先创建的变量,如x、y、z称为创建变量;像a、b这样由其他变量运算得到的称为结果变量。

from torch.autograd import Variable

x = Variable(torch.randn(2,2))
y = Variable(torch.randn(2,2))
z = Variable(torch.randn(2,2), requires_grad=True)


a = x+y
b = a+z

print(x.requires_grad, y.requires_grad, z.requires_grad) # False, False, True
print(a.requires_grad, b.requires_grad) # False, True

print(x.requires_grad) # True
print(a.requires_grad) # True

调用backward()计算梯度

import torch as t
from torch.autograd import Variable as v

a = v(t.FloatTensor([2, 3]), requires_grad=True) 
b = a + 3
c = b * b * 3
out = c.mean()
out.backward(retain_graph=True) # 这里可以不带参数,默认值为‘1',由于下面我们还要求导,故加上retain_graph=True选项

print(a.grad) # tensor([15., 18.])

backward中的gradient参数使用

a. 最后的结果变量为标量(scalar)

如第二个例子,通过调用out.backward()实现对a的求导,这里默认调用了out.backward(gradient=None)或者指定为out.backward(gradient=torch.Tensor([1.0])

b. 最后的结果变量为向量(vector)

import torch
from torch.autograd import Variable as V

m = V(torch.FloatTensor([2, 3]), requires_grad=True) # 注意这里有两层括号,非标量
n = V(torch.zeros(2))
n[0] = m[0] ** 2
n[1] = m[1] ** 3
n.backward(gradient=torch.Tensor([1,1]), retain_graph=True)
print(m.grad)

结果为:

tensor([ 4., 27.])

如果使用n.backward()的话,那么就会报如下的错:RuntimeError: grad can be implicitly created only for scalar outputs

注意:这里的gradient的维度必须与n的维度相同。其中的原理如下:

在执行z.backward(gradient)的时候,如果z不是一个标量,那么先构造一个标量的值:L = torch.sum(z*gradient),再计算关于L对各个leaf Variable的梯度。

以上这篇pytorch的梯度计算以及backward方法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • 使用Node.js和Socket.IO扩展Django的实时处理功能

    使用Node.js和Socket.IO扩展Django的实时处理功能

    这篇文章主要介绍了使用Node.js和Socket.IO扩展Django的实时处理功能,用异步处理实时功能是相当强大的,文中给出的例子是建立一个实时聊天室,需要的朋友可以参考下
    2015-04-04
  • python中if的基础用法(if else和if not)

    python中if的基础用法(if else和if not)

    if在Python中用作某个条件或值的判断,下面这篇文章主要给大家介绍了关于python中if的基础用法,主要包括if else和if not,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2022-09-09
  • Python编程快速上手——疯狂填词程序实现方法分析

    Python编程快速上手——疯狂填词程序实现方法分析

    这篇文章主要介绍了Python疯狂填词程序实现方法,结合具体案例形式分析了Python填词算法相关的文件读写、正则匹配、数据遍历等操作技巧,需要的朋友可以参考下
    2020-02-02
  • python傅里叶变换FFT绘制频谱图

    python傅里叶变换FFT绘制频谱图

    这篇文章主要为大家详细介绍了python傅里叶变换FFT绘制频谱图,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-07-07
  • 快速了解python leveldb

    快速了解python leveldb

    这篇文章主要介绍了快速了解python leveldb,具有一定借鉴价值,需要的朋友可以参考下
    2018-01-01
  • Python 内置logging 使用详细介绍

    Python 内置logging 使用详细介绍

    提供日志记录的接口和众多处理模块,供用户存储各种格式的日志,帮助调试程序或者记录程序运行过程中的输出信息,这篇文章主要介绍了Python 内置logging 使用讲解,需要的朋友可以参考下
    2022-07-07
  • OpenCV中Canny边缘检测的实现

    OpenCV中Canny边缘检测的实现

    本文主要介绍了OpenCV中Canny边缘检测的实现,边缘检测一般是识别目标图像中亮度变化明显的像素点,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2021-07-07
  • Python实现删除时保留特定文件夹和文件的示例

    Python实现删除时保留特定文件夹和文件的示例

    下面小编就为大家分享一篇Python实现删除时保留特定文件夹和文件的示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-04-04
  • 利用Django内置的认证视图实现用户密码重置功能详解

    利用Django内置的认证视图实现用户密码重置功能详解

    这篇文章主要给大家介绍了关于利用Django内置的认证视图实现用户密码重置功能的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2017-11-11
  • Python一行代码实现自动发邮件功能

    Python一行代码实现自动发邮件功能

    最近在自己学习Python爬虫,学到了用Python发送邮件,觉得这个可能以后比较实用。所以这篇文章主要给大家介绍了如何通过Python一行代码实现自动发邮件功能的相关资料,需要的朋友可以参考下
    2021-05-05

最新评论