Pytorch训练过程出现nan的解决方式
更新时间：2020年01月02日 16:14:48 作者：咆哮的阿杰
今天小编就为大家分享一篇Pytorch训练过程出现nan的解决方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。
在网上查了下解决方案。我的问题是出在学习率上了。
我自己做的样本数据集比较小，就三类，每类大概三百多张，初始学习率是0.5。后来设置为0.1就解决了。
按照解决方案上写的。出现nan的情况还有以下几种：
学习率太大，但是样本数据集又很小。（我的情况）
自定义的loss除以了一个很小的数字，小到接近0。
数据不干净，数据本身就有nan，可以用numpy.isnan检查。
target，即label是大于等于0的。从1到类别数目-1变化。
以上这篇Pytorch训练过程出现nan的解决方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系
这篇文章主要介绍了一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-07-07
在Python中,处理时间和日期数据以及与JSON数据的相互转换是常见的任务,本文主要为大家详细如何在Python中处理时间类型的JSON数据转换,需要的小伙伴可以参考下2024-02-02
本文探索Python内置数据类型的精髓与应用，包括字符串、列表、元组、字典和集合。通过深入了解它们的特性、操作和常见用法，读者将能够更好地利用这些数据类型解决实际问题。2023-09-09
Python 海象运算符是在 PEP 572 中提出，并在 Python3.8 版本并入和发布。本文就来为大家详细讲讲Python海象运算符的用法，感兴趣的可以了解一下2022-07-07
Python 中字典和集合也是非常相近的概念，而且从外观看上去，也有那么一丝丝的相似。本文将从字典基本知识入手，为你展开字典类型数据的各个知识点，需要的可以参考一下2022-11-11
Pycharm中运行程序在Python console中执行,不是直接Run问题
这篇文章主要介绍了Pycharm中运行程序在Python console中执行,不是直接Run问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-07-07
这篇文章主要介绍了Python如何读写CSV文件，帮助大家更好的理解和学习python，感兴趣的朋友可以了解下2020-08-08
这篇文章主要介绍了如何mac下配置python虚拟环境,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
下面小编就为大家带来一篇基于使用paramiko执行远程linux主机命令(详解)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-10-10
这篇文章主要介绍了用python爬虫批量下载pdf的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
最新评论