解决Pytorch训练过程中loss不下降的问题
更新时间：2020年01月02日 08:48:40 作者：猫猬兽
今天小编就为大家分享一篇解决Pytorch训练过程中loss不下降的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
在使用Pytorch进行神经网络训练时，有时会遇到训练学习率不下降的问题。出现这种问题的可能原因有很多，包括学习率过小，数据没有进行Normalization等。不过除了这些常规的原因，还有一种难以发现的原因：在计算loss时数据维数不匹配。
下面是我的代码：
loss_function = torch.nn.MSE_loss() optimizer.zero_grad() output = model(x_train) loss = loss_function(output, y_train) loss.backward() optimizer.step()
要特别注意计算loss时网络输出值output和真实值y_train的维数必须完全匹配，否则训练误差不下降，无法训练。这种错误在训练一维数据时很容易忽略，要十分注意。
以上这篇解决Pytorch训练过程中loss不下降的问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
本篇文章主要介绍了python的paramiko模块实现远程控制和传输示例，非常具有实用价值，需要的朋友可以参考下2017-10-10
在本篇文章里小编给大家分享了关于Python中添加自定义模块的实例方法，需要的朋友们可以学习下。2020-06-06
这篇文章主要介绍了django表单的Widgets,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-07-07
本篇提供了pygame播放视频的两个方案，第一个方案是网上找的现成的，第二个方案则是参考了opencv（主流方案）自己逆向思维做的，还未经过实际验证，感兴趣的朋友跟随小编一起看看吧2023-11-11
这篇文章主要介绍了Python循环作用域与闭包，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-03-03
今天带大家了解python异常捕获及标签过滤,文中有非常详细的代码示例,对正在学习python爬虫的小伙伴们很有帮助,需要的朋友可以参考下2021-05-05
这篇文章主要为大家详细介绍了python基于pygame实现飞机大作战小游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-11-11
这篇文章主要介绍了python实现简易内存监控，每隔3秒获取系统内存，当内存超过设定的警报值时，获取所有进程占用内存并发出警报声，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-06-06
这篇文章主要介绍了python已协程方式处理任务实现过程,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-12-12
这篇文章主要介绍了基于python实现生成指定大小txt文档,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
最新评论