keras之权重初始化方式
更新时间：2020年05月21日 14:37:28 作者：Lzj000lzj
这篇文章主要介绍了keras之权重初始化方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
在神经网络训练中，好的权重 初始化会加速训练过程。
下面说一下kernel_initializer 权重初始化的方法。
不同的层可能使用不同的关键字来传递初始化方法，一般来说指定初始化方法的关键字是kernel_initializer 和 bias_initializer
model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01))) # also works; will use the default parameters. model.add(Dense(64, kernel_initializer='random_normal'))
几种初始化方法
keras.initializers.Zeros()#全0 keras.initializers.Ones()#全1 keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))#指定均值和方差的正态分布初始化 keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)#指定下边界和上边界的均匀分布初始化 keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)#截尾高斯分布初始化，位于均值两个标准差以外的数据将会被丢弃并重新生成，形成截尾分布
自定义初始化
def my_init(shape, dtype=None): return K.random_normal(shape, dtype=dtype) model.add(Dense(64, init=my_init))
补充知识：Keras中权重weight的初始化
Keras 的原始构造模块是模型，最简单的模型称为序贯模型， Keras 的序贯模型是神经网络层的线性管道 （ 堆栈） 。
以下代码段定义了 一个包含 12 个人工神经元的单层 网络，它预计有 8 个输入变量 （ 也称为特征）：
from keras.models import Sequential model =Sequential() model.add(12,input_dim=8,kernel_initializer='random_uniform')
每个神经元可以用特定的权重进行初始化 。 Keras 提供了 几个选择 ， 其中最常用的选择如下所示。
random_unifrom：权重被初始化为（-0.5，0.5）之间的均匀随机的微小数值，换句话说，给定区间里的任何值都可能作为权重 。
random_normal：根据高斯分布初始化权重，其中均值为0，标准差为0.05。
zero：所有权重被初始化为0。
以上这篇keras之权重初始化方式就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
python根据完整路径获得盘名/路径名/文件名/文件扩展名的方法
这篇文章主要介绍了python根据完整路径获得盘名，路径名，文件名，文件扩展名的代码，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-04-04
本篇文章主要介绍了深入理解Python分布式爬虫原理，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-11-11
apply()函数是pandas里面所有函数中自由度最高的函数, apply()函数的参数是一个函数指针,这里可以使用lambda表达式帮助简化代码,下面这篇文章主要给大家介绍了关于Python pandas中apply函数简介以及用法的相关资料,需要的朋友可以参考下2022-09-09
玩迷宫游戏长大的我们，欣慰地看到，下一代仍热爱着这个经典游戏。本文将通过Python中的Pygame库制作这一经典的游戏，需要的可以参考一下2022-02-02
这篇文章主要介绍了Python可视化神器pyecharts绘制桑基图，即桑基能量分流图，也叫桑基能量平衡图，更多相关介绍具有一定的参考价值，需要的朋友可以参考一下2022-07-07
今天小编就为大家分享一篇python write无法写入文件的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了python之如何使用openpyxl设置单元格样式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-06-06
这篇文章主要介绍了python--pip--安装超时的解决方案，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2023-02-02
这篇文章主要介绍了python-图像处理（映射变换），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-03-03
删除列表或者字符串元素的方法不止一种，同样，删除字典元素的方法也不止一种，本文主要介绍python中删除字典元素的四种方法：1、使用del语句；2、使用clear()；3、使用pop()；4、使用popitem()。感兴趣的可以了解一下2021-12-12
最新评论