脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 脚本专栏 → python → pytorch 固定部分参数训练

pytorch 固定部分参数训练的方法

 更新时间：2019年08月17日 15:23:08   作者：guotong1988  
今天小编就为大家分享一篇pytorch 固定部分参数训练的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

需要自己过滤

optimizer.SGD(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-3)

另外，如果是Variable，则可以初始化时指定

j = Variable(torch.randn(5,5), requires_grad=True)

但是如果是

m = nn.Linear(10,10)

是没有requires_grad传入的

m.requires_grad也没有

需要

for i in m.parameters():
  i.requires_grad=False

另外一个小技巧就是在nn.Module里，可以在中间插入这个

for p in self.parameters():
  p.requires_grad=False

这样前面的参数就是False，而后面的不变

class Net(nn.Module):
  def __init__(self):
    super(Net, self).__init__()
    self.conv1 = nn.Conv2d(1, 6, 5)
    self.conv2 = nn.Conv2d(6, 16, 5)

    for p in self.parameters():
      p.requires_grad=False

    self.fc1 = nn.Linear(16 * 5 * 5, 120)
    self.fc2 = nn.Linear(120, 84)
    self.fc3 = nn.Linear(84, 10)

以上这篇pytorch 固定部分参数训练的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

相关文章

  • 用python写asp详细讲解

    用python写asp详细讲解

    本文介绍使用python写asp程序代码，大家参考使用吧
    2013-12-12
  • 教你使用Python画棵圣诞树完整代码

    教你使用Python画棵圣诞树完整代码

    圣诞节快到了，今天小编通过代码画颗圣诞树，主要通过t.pensize(10) 修改画笔大小,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友参考下吧
    2021-12-12
  • 在Django中使用Sitemap的方法讲解

    在Django中使用Sitemap的方法讲解

    这篇文章主要介绍了在Django中使用Sitemap的方法讲解,Django是最具人气的Python web开发框架,需要的朋友可以参考下
    2015-07-07
  • pycharm转移缓存目录的实现

    pycharm转移缓存目录的实现

    Pycharm在使用过程中,Pycharm会生成大量缓存文件,而这些缓存文件默认存储在C盘的用户目录里面,导致C盘空间被占用，本文主要介绍了pycharm转移缓存目录，感兴趣的可以了解一下
    2023-10-10
  • 了解一下python内建模块collections

    了解一下python内建模块collections

    这篇文章主要介绍了Python内建模块——collections的相关资料，帮助大家更好的理解和使用python，感兴趣的朋友可以了解下
    2020-09-09
  • Python实现定时监测网站运行状态的示例代码

    Python实现定时监测网站运行状态的示例代码

    这篇文章主要介绍了Python实现定时监测网站状态的示例代码，帮助大家更好的管理自己的网站，感兴趣的朋友可以了解下
    2020-09-09
  • 解决Pycharm在Debug的时候一直“Connected”没有下一步动作问题

    解决Pycharm在Debug的时候一直“Connected”没有下一步动作问题

    这篇文章主要介绍了解决Pycharm在Debug的时候一直“Connected”没有下一步动作问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
    2023-08-08
  • 利用Python正则表达式过滤敏感词的方法

    利用Python正则表达式过滤敏感词的方法

    今天小编就为大家分享一篇利用Python正则表达式过滤敏感词的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • 利用PyQt中的QThread类实现多线程

    利用PyQt中的QThread类实现多线程

    本文主要给大家分享的是python实现多线程及线程间通信的简单方法,非常的实用,有需要的小伙伴可以参考下
    2020-02-02
  • python 中如何获取列表的索引

    python 中如何获取列表的索引

    这篇文章主要介绍了python 中如何获取列表的索引，在文中给大家提到了python 返回列表中某个值的索引，本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-07-07

最新评论