Python Gluon参数和模块命名操作教程

更新时间：2019年12月18日 11:57:05 作者：团长sama

这篇文章主要介绍了Python Gluon参数和模块命名操作,结合实例形式详细分析了Python Gluon模块功能及基本使用技巧,需要的朋友可以参考下

Gluon参数和模块命名教程

在gluon里，每个参数和块都有一个名字（和前缀）。参数名可以由用户指定，block名也可以由用户指定，也可以自动创建。

本教程中，我们将讨论命名方面的最佳实践。首先，import MXNet和Gluon

from __future__ import print_function
import mxnet as mx
from mxnet import gluon

Blocks命名

在创建block时，可以指定一个前缀给它：

mydense = gluon.nn.Dense(100, prefix='mydense_')
print(mydense.prefix)
mydense_

若没有指定前缀，gluon会自动生成一个前缀

dense0 = gluon.nn.Dense(100)
print(dense0.prefix)
dense0_

当你创建更多同类块时，它们将递增后缀命名，以避免冲突：

dense1 = gluon.nn.Dense(100)
print(dense1.prefix)
dense1_

参数命名

blocks中的参数将用过将block的前缀添加到参数的名称来命名:

print(dense0.collect_params())
dense0_ (
 Parameter dense0_weight (shape=(100, 0), dtype=<type 'numpy.float32'>)
 Parameter dense0_bias (shape=(100,), dtype=<type 'numpy.float32'>)
)

名称空间

为了管理嵌套block的名称，每个块附加有一个name_scope（名称空间）。在name_scope中创建的block都会在其名称前加上父block的名称。

我们将定义一个简单的神经网络来说明这点：

class Model(gluon.Block):
 def __init__(self, **kwargs):
  super(Model, self).__init__(**kwargs)
  with self.name_scope():
   self.dense0 = gluon.nn.Dense(20)
   self.dense1 = gluon.nn.Dense(20)
   self.mydense = gluon.nn.Dense(20, prefix='mydense_')
 def forward(self, x):
  x = mx.nd.relu(self.dense0(x))
  x = mx.nd.relu(self.dense1(x))
  return mx.nd.relu(self.mydense(x))

现在实例化这个神经网络

注意：model0.dense0的名称是model0_dense0_而非dense0_
注意：我们指定model.mydense的前缀为mydense_，它的父类前缀会自动生成并添加到前面变成model0_mydense_

这里的名称前缀和变量名model0没有关系，这里就算把model0换成其他变量名比如net，前缀还是model?，? 表示这是一个递增的数字，这里的名称前缀和class Model有关若将类名Model换成Hodel，那么后面的前缀都会变成 hodel?

model0 = Model()
model0.initialize()
model0(mx.nd.zeros((1, 20)))
print(model0.prefix)
print(model0.dense0.prefix)
print(model0.dense1.prefix)
print(model0.mydense.prefix)
model0_
model0_dense0_
model0_dense1_
model0_mydense_

若我们再次实例化Model，在Dense前会生成一个不同的名称。

注意:model1.dense0的名称依然是dense0_而非dense2_，遵循之前在model0中创建的dense层的命名规则。这是因为每个model的命名空间是相互独立

model1 = Model()
print(model1.prefix)
print(model1.dense0.prefix)
print(model1.dense1.prefix)
print(model1.mydense.prefix)
model1_
model1_dense0_
model1_dense1_
model1_mydense_

建议手动为顶层的model指定一个前缀，即model = Model(prefix=‘mymodel_')，以避免命名时可能出现的混淆。

相同的规则同样适用于像Sequential这类容器block.name_scope 既可以在__init__内使用，也可以在__init__ 外使用：

注意：这里Sequential也有参数prefix，是可以自己指定名称的，不指定的话就叫Sequential

net = gluon.nn.Sequential()
with net.name_scope():
 net.add(gluon.nn.Dense(20))
 net.add(gluon.nn.Dense(20))
print(net.prefix)
print(net[0].prefix)
print(net[1].prefix)
sequential0_
sequential0_dense0_
sequential0_dense1_

gluon.model_zoo也一样

net = gluon.nn.Sequential()
with net.name_scope():
 net.add(gluon.model_zoo.vision.alexnet(pretrained=True))
 net.add(gluon.model_zoo.vision.alexnet(pretrained=True))
print(net.prefix, net[0].prefix, net[1].prefix)
sequential1_ sequential1_alexnet0_ sequential1_alexnet1_

保存和载入

由于model0和model1有不同的前缀，所以它们的参数是有不同名字的：

print(model0.collect_params(), '\n')
print(model1.collect_params())
model0_ (
 Parameter model0_dense0_weight (shape=(20L, 20L), dtype=<type 'numpy.float32'>)
 Parameter model0_dense0_bias (shape=(20L,), dtype=<type 'numpy.float32'>)
 Parameter model0_dense1_weight (shape=(20L, 20L), dtype=<type 'numpy.float32'>)
 Parameter model0_dense1_bias (shape=(20L,), dtype=<type 'numpy.float32'>)
 Parameter model0_mydense_weight (shape=(20L, 20L), dtype=<type 'numpy.float32'>)
 Parameter model0_mydense_bias (shape=(20L,), dtype=<type 'numpy.float32'>)
) 
model1_ (
 Parameter model1_dense0_weight (shape=(20, 0), dtype=<type 'numpy.float32'>)
 Parameter model1_dense0_bias (shape=(20,), dtype=<type 'numpy.float32'>)
 Parameter model1_dense1_weight (shape=(20, 0), dtype=<type 'numpy.float32'>)
 Parameter model1_dense1_bias (shape=(20,), dtype=<type 'numpy.float32'>)
 Parameter model1_mydense_weight (shape=(20, 0), dtype=<type 'numpy.float32'>)
 Parameter model1_mydense_bias (shape=(20,), dtype=<type 'numpy.float32'>)
)

若你尝试将model0的参数载入到model1中，你将会得到一个名称不匹配的错误

model0.collect_params().save('model.params')
try:
 model1.collect_params().load('model.params', mx.cpu())
except Exception as e:
 print(e)

Parameter 'model1_dense0_weight' is missing in file 'model.params', which contains parameters: 'model0_mydense_weight', 'model0_dense1_bias', 'model0_dense1_weight', 'model0_dense0_weight', 'model0_dense0_bias', 'model0_mydense_bias'. Please make sure source and target networks have the same prefix.

为了解决这个问题，我们使用save_parameters/load_parameters而不是 collect_params 和save/load. save_parameters。使用模型结构而非参数名称来匹配参数。

model0.save_parameters('model.params')
model1.load_parameters('model.params')
print(mx.nd.load('model.params').keys())
['dense0.bias', 'mydense.bias', 'dense1.bias', 'dense1.weight', 'dense0.weight', 'mydense.weight']

替换网络中的block并进行fine-turning

有时需要加载一些预训练的模型，并替换其中某些block并进行fine-turning。

For example, the alexnet in model zoo has 1000 output dimensions, but maybe you only have 100 classes in your application.

例如，alexnet有1000个输出维度但你只有100类。

我们首先载入预训练的AlexNet

在Gluon Model Zoo，所有图像分类模型的格式都是特征提取层叫 features ，输出层叫 output.
注意到输出层是一个dense block，有1000个维度的输出

alexnet = gluon.model_zoo.vision.alexnet(pretrained=True)
print(alexnet.output)
print(alexnet.output.prefix)
Dense(4096 -> 1000, linear)
alexnet0_dense2_

改变输出为100维，使用一个新block替换它

with alexnet.name_scope():
 alexnet.output = gluon.nn.Dense(100)
alexnet.output.initialize()
print(alexnet.output)
print(alexnet.output.prefix)
Dense(None -> 100, linear)
alexnet0_dense3_

原文：http://mxnet.incubator.apache.org/versions/master/tutorials/gluon/naming.html

更多关于Python相关内容可查看本站专题：《Python数学运算技巧总结》、《Python图片操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》

希望本文所述对大家Python程序设计有所帮助。

您可能感兴趣的文章:

Python中Pytest测试框架的fixture使用详解
这篇文章主要介绍了Python中Pytest测试框架的fixture使用详解,Pytest的fixture的目的是提供一个测试的基线，在此基线基础上，可以更可靠的进行重复测试,需要的朋友可以参考下
2023-08-08
python b站视频下载的五种版本
该项目用于Bilibili(b站)视频下载(支持分P多段视频的下载），基于python开发，有此需求的朋友可以参考下
2021-05-05
python爬虫看看虎牙女主播中谁最“顶”步骤详解
这篇文章主要介绍了python爬虫看看虎牙女主播中谁最“顶”,本文分步骤通过图文实例相结合给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2020-12-12
python操作mysql代码总结
本篇文章给大家分享了python操作mysql的步骤以及相关实例代码，对此有需要的朋友可以参考学习下。
2018-06-06
Django ORM 事务和查询优化的操作方法
这篇文章主要介绍了Django ORM 事务和查询优化,包括事务操作、ORM 惰性查询及only与defer相关知识，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2022-09-09
Pygame游戏开发之太空射击实战敌人精灵篇
相信大多数8090后都玩过太空射击游戏，在过去游戏不多的年代太空射击自然属于经典好玩的一款了，今天我们来自己动手实现它，在编写学习中回顾过往展望未来，下面开始讲解敌人精灵的使用
2022-08-08
Django关于事务transaction.atomic()的使用方式
这篇文章主要介绍了Django关于事务transaction.atomic()的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
2023-08-08
Django Sitemap 站点地图的实现方法
这篇文章主要介绍了Django Sitemap 站点地图的实现方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-04-04
通过Python编写一个简单登录功能过程解析
这篇文章主要介绍了通过Python编写一个简单登录功能过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2019-09-09
浅析python字符串前加r、f、u、l 的区别
这篇文章主要介绍了浅析python字符串前加r、f、u、l 的区别,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下
2021-01-01