pytorch如何冻结某层参数的实现
更新时间：2020年01月10日 11:15:01 作者：Pr4da
这篇文章主要介绍了pytorch如何冻结某层参数的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
在迁移学习finetune时我们通常需要冻结前几层的参数不参与训练，在Pytorch中的实现如下：
class Model(nn.Module): def __init__(self): super(Transfer_model, self).__init__() self.linear1 = nn.Linear(20, 50) self.linear2 = nn.Linear(50, 20) self.linear3 = nn.Linear(20, 2) def forward(self, x): pass
假如我们想要冻结linear1层，需要做如下操作：
model = Model() # 这里是一般情况，共享层往往不止一层，所以做一个for循环 for para in model.linear1.parameters(): para.requires_grad = False # 假如真的只有一层也可以这样操作： # model.linear1.weight.requires_grad = False
最后我们需要将需要优化的参数传入优化器，不需要传入的参数过滤掉，所以要用到filter()函数。
optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.1)
其它的博客中都没有讲解filter()函数的作用，在这里我简单讲一下有助于更好的理解。
filter(function, iterable)
- function: 判断函数
- iterable: 可迭代对象
filter() 函数用于过滤序列，过滤掉不符合条件的元素，返回一个迭代器对象，如果要转换为列表，可以使用 list() 来转换。
该接收两个参数，第一个为函数，第二个为序列，序列的每个元素作为参数传递给函数进行判，然后返回 True 或 False，最后将返回 True 的元素放到新列表中。
filter()函数将requires_grad = True的参数传入优化器进行反向传播，requires_grad = False的则被过滤掉。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Python3+Appium实现多台移动设备操作的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-07-07
这篇文章主要介绍了python3中类的重点与难点:类属性和实例属性的区别说明，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2021-06-06
今天小编就为大家分享一篇python 用opencv调用训练好的模型进行识别的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
Python爬虫库requests获取响应内容、响应状态码、响应头
上一节我们给大家介绍了Python爬虫库requests的发送请求传参等使用方法，今天为大家介绍下requests获取响应内容、响应状态码、响应头等相关信息2020-01-01
这篇文章主要介绍了Python基于Tkinter编写crc校验工具，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-05-05
这篇文章主要介绍了Python爬虫框架Scrapy基本用法,结合实例形式分析了xpath简单使用、xmlfeed模板、csvfeed模板及crawlfeed模板简单使用方法,需要的朋友可以参考下2018-07-07
np.random.rand是NumPy库中的一个函数,用于生成随机数,本文主要介绍了NumPy中np.random.rand函数的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧2024-07-07
这篇文章主要介绍了用Python写一个自动木马程序的方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-09-09
Python基于分析Ajax请求实现抓取今日头条街拍图集功能示例
这篇文章主要介绍了Python基于分析Ajax请求实现抓取今日头条街拍图集功能,涉及Python针对今日头条URL请求与json数据处理相关操作技巧,需要的朋友可以参考下2018-07-07
这篇文章主要介绍了python中读取txt文件时split()函数的妙用，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-11-11
最新评论