Pytorch之finetune使用详解
更新时间：2020年01月18日 15:44:42 作者：heathhose
今天小编就为大家分享一篇Pytorch之finetune使用详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
finetune分为全局finetune和局部finetune。首先介绍一下局部finetune步骤：
1.固定参数
for name, child in model.named_children():
for param in child.parameters():
param.requires_grad = False
后，只传入 需要反传的参数，否则会报错
filter(lambda param: param.requires_grad, model.parameters())
2.调低学习率，加快衰减
finetune是在预训练模型上进行微调，学习速率不能太大。
目前不清楚：学习速率降低的幅度可以更快一些。这样以来，在使用step的策略时，stepsize可以更小一些。
直接从原始数据训练的base_lr一般为0.01，微调要比0.01小,置为0.001
要比直接训练的小一些，直接训练的stepsize为100000，finetune的stepsize: 50000
3. 固定bn或取消dropout：
batchnorm会影响训练的效果，随着每个batch，追踪样本的均值和方差。对于固定的网络，bn应该使用全局的数值
def freeze_bn(self):
for layer in self.modules():
if isinstance(layer, nn.BatchNorm2d):
layer.eval()
训练时，model.train()会修改模式，freeze_zn()应该在这里后面
4.过滤参数
训练时，对于优化器，应该只传入需要改变的参数，否则会报错
filter(lambda p: p.requires_grad, model.parameters())
以上这篇Pytorch之finetune使用详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
如何修复使用 Python ORM 工具 SQLAlchemy 时的常见陷阱
SQLAlchemy 是一个 Python ORM 工具包，它提供使用 Python 访问 SQL 数据库的功能。这篇文章主要介绍了如何修复使用 Python ORM 工具 SQLAlchemy 时的常见陷阱,需要的朋友可以参考下2019-11-11
这篇文章主要介绍了django中使用POST方法获取POST数据,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-08-08
Tesseract 是一个开源的光学字符识别（OCR）引擎,它能够识别多种语言的文本,可将扫描文档、图像中的文字提取并转换为计算机可编辑的文本格式,本文给大家介绍了python使用tesseract实现字符识别功能,需要的朋友可以参考下2024-10-10
这篇文章主要介绍了Python中用于检查英文字母大写的isupper()方法,是Python入门中的基础知识,需要的朋友可以参考下2015-05-05
这篇文章介绍了python解析.pyd文件的详细代码，文中通过示例代码介绍的非常详细。对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考2021-12-12
Python中调用Win32API 通常都是使用 PyWin32或者ctypes。本文给大家介绍Python 调用 Windows API COM 新法，感兴趣的朋友跟随小编一起看看吧2019-08-08
Django在Win7下的安装及创建项目hello word简明教程
这篇文章主要介绍了Django在Win7下的安装及创建项目hello word,需要的朋友可以参考下2014-07-07
很多小伙伴在学习python的时候可能会遇到对数据进行格式化输出的需求,其中最常见的需求为:保留几位小数,下面这篇文章主要给大家介绍了关于python保存两位小数的多种方法,需要的朋友可以参考下2021-12-12
下面小编就为大家带来一篇遍历python字典几种方法总结(推荐)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2016-09-09
这篇文章主要为大家介绍了Python Pyecharts绘制桑基图分析用户行为路径，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
最新评论