解决Pytorch中的神坑:关于model.eval的问题
更新时间：2021年05月22日 10:17:35 作者：汐梦聆海
这篇文章主要介绍了解决Pytorch中的神坑:关于model.eval的问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
有时候使用Pytorch训练完模型，在测试数据上面得到的结果令人大跌眼镜。
这个时候需要检查一下定义的Model类中有没有 BN 或 Dropout 层，如果有任何一个存在
那么在测试之前需要加入一行代码：
#model是实例化的模型对象 model = model.eval()
表示将模型转变为evaluation（测试）模式，这样就可以排除BN和Dropout对测试的干扰。
因为BN和Dropout在训练和测试时是不同的：
对于BN，训练时通常采用mini-batch，所以每一批中的mean和std大致是相同的；而测试阶段往往是单个图像的输入，不存在mini-batch的概念。所以将model改为eval模式后，BN的参数固定，并采用之前训练好的全局的mean和std；
对于Dropout，训练阶段，隐含层神经元先乘概率P，再进行激活；而测试阶段，神经元先激活，每个隐含层神经元的输出再乘概率P。
如下图所示：
补充：pytorch中model.eval之后是否还需要model.train的问题
答案是：需要的
正确的写法是
for循环之后再开启train，
循环之后的评估model.eval之后就会再次回到model.train
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了Pytorch实现Fashion-mnist分类任务全过程，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-12-12
这篇文章主要给大家介绍了关于pandas如何删除没有列名的列的相关资料,需要的朋友可以参考下2021-11-11
python机器学习库scikit-learn：SVR的基本应用
这篇文章主要介绍了python机器学习库scikit-learn：SVR的基本应用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-06-06
这篇文章主要介绍了Python库Gym开发和比较强化学习算法使用探究,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
这篇文章主要为大家详细介绍了Mac版的Python、PyCharm安装及使用方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-04-04
配置python连接oracle读取excel数据写入数据库的操作流程
这篇文章主要介绍了配置python连接oracle，读取excel数据写入数据库,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2021-03-03
这篇文章主要给大家介绍了关于Django跨域请求问题解决的相关资料，文中介绍的实现方法包括：使用django-cors-headers全局控制、使用JsonP，只能用于Get方法以及在views.py里设置响应头，只能控制单个接口，需要的朋友可以参考下2018-06-06
这篇文章主要介绍了Python一行命令部署http ftp服务实现过程详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2024-01-01
这篇文章主要介绍了PyCharm设置注释字体颜色以及是否倾斜的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-09-09
这篇文章主要介绍了Django框架视图层URL映射与反向解析,结合实例形式分析了Django框架普通url映射、命名URL参数映射、分布式URL映射、反向解析等相关操作技巧,需要的朋友可以参考下2019-07-07
最新评论