pytorch加载训练好的模型用来测试或者处理方式

 更新时间:2023年09月09日 16:32:17   作者:群星闪耀  
这篇文章主要介绍了pytorch加载训练好的模型用来测试或者处理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

1.直接加载预训练模型

如果我们使用的模型和原模型完全一样,

那么我们可以直接加载别人训练好的模型:

import torchvision.models as models
resnet50 = models.resnet50(pretrained=True)

如果只需要网络结构,不需要用预训练模型的参数来初始化,

那么就是:

model =torchvision.models.resnet50(pretrained=False)

2.修改某一层

PyTorch中的torchvision里已经有很多常用的模型了,

可以直接调用:

  • AlexNet
  • VGG
  • ResNet
  • SqueezeNet
  • DenseNet
import torchvision.models as models
resnet18 = models.resnet18()
alexnet = models.alexnet()
squeezenet = models.squeezenet1_0()
densenet = models.densenet_161()

但是对于我们的任务而言有些层并不是直接能用,需要我们微微改一下,

比如,resnet最后的全连接层是分1000类,而我们只有21类;

又比如,resnet第一层卷积接收的通道是3, 我们可能输入图片的通道是4,

那么可以通过以下方法修改:

resnet.conv1 = nn.Conv2d(4, 64, kernel_size=7, stride=2, padding=3, bias=False)
resnet.fc = nn.Linear(2048, 21)

3.加载部分预训练模型

其实大多数时候我们需要根据我们的任务调节我们的模型,所以很难保证模型和公开的模型完全一样,但是预训练模型的参数确实有助于提高训练的准确率,为了结合二者的优点,就需要我们加载部分预训练模型。

#加载model,model是自己定义好的模型
resnet50 = models.resnet50(pretrained=True) 
model =Net(...) 
#读取参数 
pretrained_dict =resnet50.state_dict() 
model_dict = model.state_dict() 
#将pretrained_dict里不属于model_dict的键剔除掉 
pretrained_dict =  {k: v for k, v in pretrained_dict.items() if k in model_dict} 
# 更新现有的model_dict 
model_dict.update(pretrained_dict) 
# 加载我们真正需要的state_dict
model.load_state_dict(model_dict)
# 加载我们真正需要的state_dict 
model.load_state_dict(model_dict)  

4. 保存和加载自己的模型

pytorch保存模型的方式有两种:

  • 第一种:将整个网络都都保存下来
  • 第二种:仅保存和加载模型参数(推荐使用这样的方法)

4.1 保存和加载整个模型

# 保存
torch.save(model_object, Path)
# 加载
model = torch.load(Path)

4.2 仅保存和加载模型参数(推荐使用) 

# ----------------保存模型参数--------------------------
torch.save(model.state_dict(), PATH)
#example
torch.save(resnet50.state_dict(),'ckp/model.pth')    
# ----------------加载模型参数--------------------------
model = ModelClass(*args, **kwargs) # 这是你后来设置的模型
model.load_state_dict(torch.load(PATH)) # 加载参数
#example
resnet=resnet50(pretrained=True)
resnet.load_state_dict(torch.load('ckp/model.pth'))

4.3 每个epoch保存一个模型参数

for epoch in range(start_epoch, nEpochs + 1):
        train(training_data_loader, optimizer, model, criterion, epoch)
        save_checkpoint(model, epoch)
def save_checkpoint(model, epoch):
    model_out_path = "checkpoint/" + "model_epoch_{}.pth".format(epoch)
    state = {"epoch": epoch ,"model": model}
    if not os.path.exists("checkpoint/"):
        os.makedirs("checkpoint/")
    torch.save(state, model_out_path)
    print("Checkpoint saved to {}".format(model_out_path))

上面的代码中start_epoch是开始保存模型的epoch,nEpochs是总共训练的次数。

train()里面的参数,是训练的过程:一些训练数据,优化器,模型和训练标准。

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

相关文章

  • Python通用函数实现数组计算的方法

    Python通用函数实现数组计算的方法

    数组的运算可以进行加减乘除,同时也可以将这些算数运算符进行任意的组合已达到效果。这篇文章主要介绍了Python通用函数实现数组计算的代码,非常不错,具有一定的参考借鉴价值,需要的朋友参考下吧
    2019-06-06
  • 利用Python进行时间序列数据分析与可视化的代码示例

    利用Python进行时间序列数据分析与可视化的代码示例

    随着时间序列数据在金融、气象、生态等领域的广泛应用,利用Python进行时间序列数据分析和可视化已成为重要的技能之一,本文将介绍如何使用Python进行时间序列数据分析和可视化,并给出相应的代码示例,需要的朋友可以参考下
    2023-11-11
  • Python判断文件和字符串编码类型的实例

    Python判断文件和字符串编码类型的实例

    下面小编就为大家分享一篇Python判断文件和字符串编码类型的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2017-12-12
  • PyTorch使用cpu加载模型运算方式

    PyTorch使用cpu加载模型运算方式

    今天小编就为大家分享一篇PyTorch使用cpu加载模型运算方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-01-01
  • 对Python捕获控制台输出流的方法详解

    对Python捕获控制台输出流的方法详解

    今天小编就为大家分享一篇对Python捕获控制台输出流的方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-01-01
  • Django Sitemap 站点地图的实现方法

    Django Sitemap 站点地图的实现方法

    这篇文章主要介绍了Django Sitemap 站点地图的实现方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2019-04-04
  • python 字典中取值的两种方法小结

    python 字典中取值的两种方法小结

    今天小编就为大家分享一篇python 字典中取值的两种方法小结,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-08-08
  • Python中的并发编程asyncio库入门使用

    Python中的并发编程asyncio库入门使用

    这篇文章主要为大家介绍了Python中的并发编程asyncio库入门的使用示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-05-05
  • Flask response响应的具体使用

    Flask response响应的具体使用

    在flask中,想要给前端页面返回数据,必须是Response的对象,本文介绍了Flask response响应的使用,感兴趣的可以了解一下
    2021-07-07
  • 对python 数据处理中的LabelEncoder 和 OneHotEncoder详解

    对python 数据处理中的LabelEncoder 和 OneHotEncoder详解

    今天小编就为大家分享一篇对python 数据处理中的LabelEncoder 和 OneHotEncoder详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-07-07

最新评论