pytorch中的model.eval()和BN层的使用

 更新时间:2021年05月22日 10:27:00   作者:那抹阳光1994  
这篇文章主要介绍了pytorch中的model.eval()和BN层的使用,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

看代码吧~

class ConvNet(nn.module):
    def __init__(self, num_class=10):
        super(ConvNet, self).__init__()
        self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),
                                    nn.BatchNorm2d(16),
                                    nn.ReLU(),
                                    nn.MaxPool2d(kernel_size=2, stride=2))
        self.layer2 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2),
                                    nn.BatchNorm2d(32),
                                    nn.ReLU(),
                                    nn.MaxPool2d(kernel_size=2, stride=2))
        self.fc = nn.Linear(7*7*32, num_classes)
         
    def forward(self, x):
        out = self.layer1(x)
        out = self.layer2(out)
        print(out.size())
        out = out.reshape(out.size(0), -1)
        out = self.fc(out)
        return out
# Test the model
model.eval()  # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)
with torch.no_grad():
    correct = 0
    total = 0
    for images, labels in test_loader:
        images = images.to(device)
        labels = labels.to(device)
        outputs = model(images)
        _, predicted = torch.max(outputs.data, 1)
        total += labels.size(0)
        correct += (predicted == labels).sum().item()

如果网络模型model中含有BN层,则在预测时应当将模式切换为评估模式,即model.eval()。

评估模拟下BN层的均值和方差应该是整个训练集的均值和方差,即 moving mean/variance。

训练模式下BN层的均值和方差为mini-batch的均值和方差,因此应当特别注意。

补充:Pytorch 模型训练模式和eval模型下差别巨大(Pytorch train and eval)附解决方案

当pytorch模型写明是eval()时有时表现的结果相对于train(True)差别非常巨大,这种差别经过逐层查看,主要来源于使用了BN,在eval下,使用的BN是一个固定的running rate,而在train下这个running rate会根据输入发生改变。

解决方案是冻住bn

def freeze_bn(m):
    if isinstance(m, nn.BatchNorm2d):
        m.eval()
model.apply(freeze_bn)

这样可以获得稳定输出的结果。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • python中实现json数据和类对象相互转化的四种方式

    python中实现json数据和类对象相互转化的四种方式

    在日常的软件测试过程中,测试数据的构造是一个占比非常大的活动,对于测试数据的构造,分为结构化的数据构造方式和非结构化的数据构造方式,此篇文章,会通过4种方式来展示json数据与python的类对象相互转化,需要的朋友可以参考下
    2024-07-07
  • Python模拟登录和登录跳转的参考示例

    Python模拟登录和登录跳转的参考示例

    这篇文章主要介绍了Python模拟登录和登录跳转的参考示例,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2020-10-10
  • Windows下为Python安装Matplotlib模块

    Windows下为Python安装Matplotlib模块

    这篇文章主要介绍了如何在Windows下为Python安装Matplotlib模块的方法,非常的详细,而且附上了官方的下载地址,小伙伴们操作起来应该毫无压力了。
    2015-11-11
  • Python 使用SMTP发送邮件的代码小结

    Python 使用SMTP发送邮件的代码小结

    python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装,需要的朋友可以参考下
    2016-09-09
  • Python关键字及可变参数*args,**kw原理解析

    Python关键字及可变参数*args,**kw原理解析

    这篇文章主要介绍了Python关键字及可变参数*args,**kw原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-04-04
  • python 实现一个反向单位矩阵示例

    python 实现一个反向单位矩阵示例

    今天小编就为大家分享一篇python 实现一个反向单位矩阵示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-11-11
  • 在CentOS 7中使用Python 3执行系统命令的详细教程

    在CentOS 7中使用Python 3执行系统命令的详细教程

    使用os.system()这个方法简单直接,但它不返回命令的输出,只返回命令的退出状态,如果你只需要知道命令是否成功执行,这个方法就足够了,这篇文章主要介绍了在CentOS 7中使用Python 3执行系统命令的详细教程,需要的朋友可以参考下
    2024-02-02
  • Python实现问题回答小游戏

    Python实现问题回答小游戏

    这篇文章主要介绍了利用Python制作一个简单的知识竞赛小游戏,可以实现回答问题功能,文中的示例代码介绍详细,感兴趣的同学快跟随小编一起学习吧
    2021-12-12
  • python psutil库的使用示例

    python psutil库的使用示例

    这篇文章主要介绍了python psutil库的使用示例,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下
    2021-03-03
  • 使用Python如何测试InnoDB与MyISAM的读写性能

    使用Python如何测试InnoDB与MyISAM的读写性能

    网上有很多评论myisam和innodb读写性能对比,所以下面这篇文章主要给大家介绍了关于使用Python如何测试InnoDB与MyISAM读写性能的相关资料,文中通过图文介绍的非常详细,需要的朋友可以参考下
    2018-09-09

最新评论