pytorch 实现在测试的时候启用dropout
更新时间：2021年05月27日 10:07:17 作者：qian99
这篇文章主要介绍了pytorch 实现在测试的时候启用dropout的操作，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
我们知道，dropout一般都在训练的时候使用，那么测试的时候如何也开启dropout呢？
在pytorch中，网络有train和eval两种模式，在train模式下，dropout和batch normalization会生效，而val模式下，dropout不生效，bn固定参数。
想要在测试的时候使用dropout，可以把dropout单独设为train模式，这里可以使用apply函数：
def apply_dropout(m):
if type(m) == nn.Dropout:
m.train()
下面是完整demo代码：
# coding: utf-8
import torch
import torch.nn as nn
import numpy as np
class SimpleNet(nn.Module):
def __init__(self):
super(SimpleNet, self).__init__()
self.fc = nn.Linear(8, 8)
self.dropout = nn.Dropout(0.5)
def forward(self, x):
x = self.fc(x)
x = self.dropout(x)
return x
net = SimpleNet()
x = torch.FloatTensor([1]*8)
net.train()
y = net(x)
print('train mode result: ', y)
net.eval()
y = net(x)
print('eval mode result: ', y)
net.eval()
y = net(x)
print('eval2 mode result: ', y)
def apply_dropout(m):
if type(m) == nn.Dropout:
m.train()
net.eval()
net.apply(apply_dropout)
y = net(x)
print('apply eval result:', y)
运行结果：
可以看到，在eval模式下，由于dropout未生效，每次跑的结果不同，利用apply函数，将Dropout单独设为train模式，dropout就生效了。
补充：Pytorch之dropout避免过拟合测试
一.做数据
二.搭建神经网络
三.训练
四.对比测试结果
注意：测试过程中，一定要注意模式切换
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
DjangoUeditor图片不显示img的src没有域名问题
在使用DjangoUeditor过程中,可能遇到图片上传后不显示问题,解决办法是修改源码view.py,加入代码使得保存的图片URL带有协议和域名,具体做法是在保存图片代码中添加request.scheme获取协议,request.META['HTTP_HOST']获取域名2024-09-09
这篇文章主要给大家介绍了关于Linux系统下升级pip的完整步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2021-01-01
这篇文章主要为大家详细介绍了python实现碑帖图片横向拼接，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2021-03-03
大家好，本篇文章主要讲的是用python画个奥运五环（附完整代码），感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下2022-01-01
这篇文章主要介绍了python 字典修改键(key)的几种方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-08-08
这篇文章主要介绍了Python任务调度模块APScheduler使用,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-04-04
这篇文章主要介绍了tensorflow的计算图总结，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-01-01
这篇文章主要介绍了详解flask表单提交的两种方式，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-07-07
下面小编就为大家分享一篇python判断一个集合是否为另一个集合的子集方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-05-05
链表是计算机科学里面应用最广泛的数据结构之一。这篇文章主要介绍了使用python实现链表操作,需要的朋友可以参考下2018-01-01
最新评论