关于torch.optim的灵活使用详解(包括重写SGD,加上L1正则)
torch.optim的灵活使用详解
1. 基本用法：
要构建一个优化器Optimizer，必须给它一个包含参数的迭代器来优化，然后，我们可以指定特定的优化选项，
例如学习速率，重量衰减值等。
注：如果要把model放在GPU中，需要在构建一个Optimizer之前就执行model.cuda()，确保优化器里面的参数也是在GPU中。
例子：
optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum=0.9)
2. 灵活的设置各层的学习率
将model中需要进行BP的层的参数送到torch.optim中，这些层不一定是连续的。
这个时候，Optimizer的参数不是一个可迭代的变量，而是一个可迭代的字典
(字典的key必须包含'params'(查看源码可以得知optimizer通过'params'访问parameters)，
其他的key就是optimizer可以接受的，比如说'lr','weight_decay')，可以将这些字典构成一个list，
这样就是一个可迭代的字典了。
注：这个时候，可以在optimizer设置选项作为关键字参数传递，这时它们将被认为是默认值(当字典里面没有这个关键字参数key-value对时，就使用这个默认的参数)
This is useful when you only want to vary a single option, while keeping all others consistent between parameter groups.
例子：
optimizer = SGD([
{'params': model.features12.parameters(), 'lr': 1e-2},
{'params': model.features22.parameters()},
{'params': model.features32.parameters()},
{'params': model.features42.parameters()},
{'params': model.features52.parameters()},
], weight_decay1=5e-4, lr=1e-1, momentum=0.9)
上面创建的optim.SGD类型的Optimizer，lr默认值为1e-1，momentum默认值为0.9。features12的参数学习率为1e-2。
灵活更改各层的学习率
torch.optim.optimizer.Optimizer的初始化函数如下：
__init__(self, params, lr=<object object>, momentum=0, dampening=0, weight_decay=0, nesterov=False)
params (iterable): iterable of parameters to optimize or dicts defining parameter groups （params可以是可迭代的参数，或者一个定义参数组的字典，如上所示，字典的键值包括：params，lr，momentum，dampening，weight_decay，nesterov）
想要改变各层的学习率，可以访问optimizer的param_groups属性。type(optimizer.param_groups) -> list
optimizer.param_groups[0].keys() Out[21]: ['dampening', 'nesterov', 'params', 'lr', 'weight_decay', 'momentum']
因此，想要更改某层参数的学习率，可以访问optimizer.param_groups，指定某个索引更改'lr'参数就可以。
def adjust_learning_rate(optimizer, decay_rate=0.9):
for para in optimizer.param_groups:
para['lr'] = para['lr']*decay_rate
重写torch.optim，加上L1正则
查看torch.optim.SGD等Optimizer的源码，发现没有L1正则的选项，而L1正则更容易得到稀疏解。
这个时候，可以更改/home/smiles/anaconda2/lib/python2.7/site-packages/torch/optim/sgd.py文件，模拟L2正则化的操作。
L1正则化求导如下：
dw = 1 * sign(w)
更改后的sgd.py如下：
import torch
from torch.optim.optimizer import Optimizer, required
class SGD(Optimizer):
def __init__(self, params, lr=required, momentum=0, dampening=0,
weight_decay1=0, weight_decay2=0, nesterov=False):
defaults = dict(lr=lr, momentum=momentum, dampening=dampening,
weight_decay1=weight_decay1, weight_decay2=weight_decay2, nesterov=nesterov)
if nesterov and (momentum <= 0 or dampening != 0):
raise ValueError("Nesterov momentum requires a momentum and zero dampening")
super(SGD, self).__init__(params, defaults)
def __setstate__(self, state):
super(SGD, self).__setstate__(state)
for group in self.param_groups:
group.setdefault('nesterov', False)
def step(self, closure=None):
"""Performs a single optimization step.
Arguments:
closure (callable, optional): A closure that reevaluates the model
and returns the loss.
"""
loss = None
if closure is not None:
loss = closure()
for group in self.param_groups:
weight_decay1 = group['weight_decay1']
weight_decay2 = group['weight_decay2']
momentum = group['momentum']
dampening = group['dampening']
nesterov = group['nesterov']
for p in group['params']:
if p.grad is None:
continue
d_p = p.grad.data
if weight_decay1 != 0:
d_p.add_(weight_decay1, torch.sign(p.data))
if weight_decay2 != 0:
d_p.add_(weight_decay2, p.data)
if momentum != 0:
param_state = self.state[p]
if 'momentum_buffer' not in param_state:
buf = param_state['momentum_buffer'] = torch.zeros_like(p.data)
buf.mul_(momentum).add_(d_p)
else:
buf = param_state['momentum_buffer']
buf.mul_(momentum).add_(1 - dampening, d_p)
if nesterov:
d_p = d_p.add(momentum, buf)
else:
d_p = buf
p.data.add_(-group['lr'], d_p)
return loss
一个使用的例子：
optimizer = SGD([
{'params': model.features12.parameters()},
{'params': model.features22.parameters()},
{'params': model.features32.parameters()},
{'params': model.features42.parameters()},
{'params': model.features52.parameters()},
], weight_decay1=5e-4, lr=1e-1, momentum=0.9)
以上这篇关于torch.optim的灵活使用详解(包括重写SGD,加上L1正则)就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
今天比较清闲，多写几篇入门篇，本文是入门系列的第三篇，我们来学习下Python中的序列。2014-05-05
Python Flask 实现 HTML 文件压缩案例代码(9 级压缩)
这篇文章主要介绍了Python Flask 实现 HTML 文件压缩案例代码(9 级压缩),本案例是基于 Python Flask 进行搭建，所以需要提前搭建一个 Flask 项目环境，有 app.py 文件和 templates/index.html 文件即可，需要的朋友可以参考下2023-01-01
今天小编就为大家分享一篇Python如何实现在字符串里嵌入双引号或者单引号，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-03-03
这篇文章主要介绍了利用Python实现自动扫雷小脚本,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-12-12
这篇文章主要介绍了详解Python 3.10 中的新功能和变化，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-04-04
这篇文章主要为大家介绍了手机Python编程软件QPython的推荐使用，支持第三方库安装，这样大家在上下班途中也可以来练练手啦，有需要的朋友一起用起来吧2021-10-10
使用opencv将图片转为灰度图主要有两种方法，第一种是将彩色图转为灰度图，第二种是在使用OpenCV读取图片的时候直接读取为灰度图，今天通过实例代码讲解Python opencv图像基本操作学习之灰度图转换，感兴趣的朋友一起看看吧2023-02-02
这篇文章主要介绍了Django开发中复选框用法,结合实例形式分析了Django基于ajax的复选框遍历、提交及后台数据库查询等相关操作技巧,需要的朋友可以参考下2018-03-03
这篇文章主要介绍了Python中的字典遍历备忘,本文列举了多种字典遍历方法,适合初学者查看,并简单讲解了interitems和iterms区别,需要的朋友可以参考下2015-01-01
我们经常在B站或其他视频网站上看到那种逐条读单词的视频,但他们的视频多多少少和我们的预期都不太一致,然而,网上很难找到和自己需求符合的视频,所以本文给大家介绍了使用Python制作读单词视频的实现,需要的朋友可以参考下2024-04-04
最新评论