pytorch模型部署到onnx的详细过程

更新时间：2023年08月28日 10:25:53 作者：Liang-ml

这篇文章主要介绍了如何简单的将pytorch模型部署到onnx,本文结合示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

1. 创建一个pytorch模型

这里我用的U2Net，直接加载好训练出的权重

model = U2Net(class_nums=4)
model.load_state_dict(torch.load(checkpoint_path))

2. 将pytorch模型转成onnx格式

x = torcg.randn(1,3,512,512)
with torch.no_grad():
torch.onnx.export(
model,
x,
"onnx_file_name.onnx",
opset_version=11,
input_names=['input'],
output_names=['output']
)

torch.onnx.export()函数用于将pytorch模型转成onnx格式的函数，其中的参数如下

model：需要转换的模型，加载好权重
args：模型的任意一组输入，注意维度
f：导出的onnx模型的文件名
opset_version：表示ONNX算子集的版本，随着深度学习的发展，新算子会不断诞生，算子集就需要扩充，截至20230824，官网已经发布20个版本
input_names：输入tensor的名称
output_names：输出tensor的名称

转换成功会在指定的路径f下生成onnx模型文件

可用onnx中的函数验证模型文件是否正确

import onnx
onnx_model = onnx.load("onnx_file_name.onnx")
try:
onnx.checker.check_model(onnx_model)
except Exception as ex:
print(f'ERROR: {ex}')
else:
print(f'model correct')

可以使用netron查看转换的onnx模型的详细内容链接 https://netron.app/

点击某个算子节点，可以查看算子的具体信息，每个算子记录了算子的属性、图结构和权重三类信息

算子属性信息(attributes)，对于卷积来说，算子属性包含了卷积核的大小、步长等属性
图结构信息(node properties)，算子节点在计算图中的名称、邻边的信息，如上图节点名为conv2，输入数据叫683，权重叫1324
权重信息指算子存储的网络权重信息，点击w后的+号可以查看权重信息的具体内容

3. 推理引擎ONNXRuntime

使用onnxruntime可以运行输出的onnx模型，代码如下

input_img 是一个与onnx模型输入维度一致的归一化的np.array
model = onnxruntime.InferenceSession(onnx_file)
inputs = {'input':input_img}
output = model.run(['output'],inputs)[0]

onnxruntime.InferenceSession用于获取一个ONNX Runtime的推理器，其参数为用于推理的ONNX模型文件

run方法用于模型推理，第一个参数为输出张量名的列表，第二个参数为输入值的字典，key为导出模型时设置的张量名，value为输入张量

到此这篇关于简单的将pytorch模型部署到onnx的文章就介绍到这了,更多相关pytorch模型部署到onnx内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

使用python将请求的requests headers参数格式化方法
今天小编就为大家分享一篇使用python将请求的requests headers参数格式化方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2019-01-01
python基于Selenium的web自动化框架
这篇文章主要介绍了python基于Selenium的web自动化框架，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-07-07
使用matplotlib绘制热图(heatmap)全过程
这篇文章主要介绍了使用matplotlib绘制热图(heatmap)全过程，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
2022-12-12
python抓取京东商城手机列表url实例代码
python抓取京东商城手机列表url实例分享，大家参考使用吧
2013-12-12
python调用tcpdump抓包过滤的方法
这篇文章主要为大家详细介绍了python调用tcpdump抓包过滤的方法，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-07-07
Python解决IndexError: list index out of&nb
IndexError是一种常见的异常类型,它通常发生在尝试访问列表（list）中不存在的索引时,错误信息“IndexError: list index out of range”意味着你试图访问的列表索引超出了列表的实际范围,所以本文给大家介绍了Python成功解决IndexError: list index out of range
2024-05-05
Python 异步之推导式示例详解
这篇文章主要为大家介绍了Python 异步之推导式示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2023-03-03
python PaddleOCR库用法及知识点详解
在本篇内容里小编给大家分享的是一篇关于python PaddleOCR库用法及知识点详解内容，对此有需要的朋友们可以学习参考下。
2021-07-07
ubuntu系统下使用pm2设置nodejs开机自启动的方法
今天小编就为大家分享一篇ubuntu系统下使用pm2设置nodejs开机自启动的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2018-05-05
Python编码时应该注意的几个情况
对于Python程序员，你需要注意一下本文所提到的这些事情。你也可以看看Zen of Python（Python之禅），这里面提到了一些注意事项，并配以示例，可以帮助你快速提高
2013-03-03