TensorFlow中权重的随机初始化的方法

 更新时间:2018年02月11日 09:19:30   作者:松松的鞋带儿  
本篇文章主要介绍了TensorFlow中权重的随机初始化的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

一开始没看懂stddev是什么参数,找了一下,在tensorflow/python/ops里有random_ops,其中是这么写的:

def random_normal(shape, mean=0.0, stddev=1.0, dtype=types.float32,
         seed=None, name=None):
 """Outputs random values from a normal distribution.

 Args:
  shape: A 1-D integer Tensor or Python array. The shape of the output tensor.
  mean: A 0-D Tensor or Python value of type `dtype`. The mean of the normal
   distribution.
  stddev: A 0-D Tensor or Python value of type `dtype`. The standard deviation
   of the normal distribution.
  dtype: The type of the output.
  seed: A Python integer. Used to create a random seed for the distribution.
   See
   [`set_random_seed`](../../api_docs/python/constant_op.md#set_random_seed)
   for behavior.
  name: A name for the operation (optional).

 Returns:
  A tensor of the specified shape filled with random normal values.
 """

也就是按照正态分布初始化权重,mean是正态分布的平均值,stddev是正态分布的标准差(standard deviation),seed是作为分布的random seed(随机种子,我百度了一下,跟什么伪随机数发生器还有关,就是产生随机数的),在mnist/concolutional中seed赋值为66478,挺有意思,不知道是什么原理。

后面还有truncated_normal的定义:

def truncated_normal(shape, mean=0.0, stddev=1.0, dtype=types.float32,
           seed=None, name=None):
 """Outputs random values from a truncated normal distribution.

 The generated values follow a normal distribution with specified mean and
 standard deviation, except that values whose magnitude is more than 2 standard
 deviations from the mean are dropped and re-picked.

 Args:
  shape: A 1-D integer Tensor or Python array. The shape of the output tensor.
  mean: A 0-D Tensor or Python value of type `dtype`. The mean of the
   truncated normal distribution.
  stddev: A 0-D Tensor or Python value of type `dtype`. The standard deviation
   of the truncated normal distribution.
  dtype: The type of the output.
  seed: A Python integer. Used to create a random seed for the distribution.
   See
   [`set_random_seed`](../../api_docs/python/constant_op.md#set_random_seed)
   for behavior.
  name: A name for the operation (optional).

 Returns:
  A tensor of the specified shape filled with random truncated normal values.
 """

截断正态分布,以前都没听说过。

TensorFlow还提供了平均分布等。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

相关文章

  • pymongo为mongodb数据库添加索引的方法

    pymongo为mongodb数据库添加索引的方法

    这篇文章主要介绍了pymongo为mongodb数据库添加索引的方法,涉及Python操作mongodb数据库的相关技巧,非常简单实用,需要的朋友可以参考下
    2015-05-05
  • 关于pytorch多GPU训练实例与性能对比分析

    关于pytorch多GPU训练实例与性能对比分析

    今天小编就为大家分享一篇关于pytorch多GPU训练实例与性能对比分析,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • python3.6使用tkinter实现弹跳小球游戏

    python3.6使用tkinter实现弹跳小球游戏

    这篇文章主要为大家详细介绍了python3.6使用tkinter实现弹跳小球游戏,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2019-05-05
  • 详解Python实现按任意键继续/退出的功能

    详解Python实现按任意键继续/退出的功能

    在学Python时在总想实现一个按任意键继续/退出的程序(受.bat毒害), 奈何一直没有写,今天抽时间写出来了,下面分享给大家,有需要的可以参考借鉴。
    2016-08-08
  • Python OpenCV Canny边缘检测算法的原理实现详解

    Python OpenCV Canny边缘检测算法的原理实现详解

    这篇文章主要介绍了Python OpenCV Canny边缘检测算法的原理实现详解,由于边缘检测对噪声敏感,因此对图像应用高斯平滑以帮助减少噪声,具体详情需要的小伙伴可以参考一下
    2022-07-07
  • 浅谈Tensorflow加载Vgg预训练模型的几个注意事项

    浅谈Tensorflow加载Vgg预训练模型的几个注意事项

    这篇文章主要介绍了浅谈Tensorflow加载Vgg预训练模型的几个注意事项说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • Python之Pygame的Draw绘图

    Python之Pygame的Draw绘图

    Pygame 中提供了一个draw模块用来绘制一些简单的图形状,比如矩形、多边形、圆形、直线、弧线等。本文主要介绍Pygame中的Draw绘图,感兴趣的同学可以参考阅读
    2023-04-04
  • python使用cPickle模块序列化实例

    python使用cPickle模块序列化实例

    这篇文章主要介绍了python使用cPickle模块序列化的方法,是一个非常实用的技巧,需要的朋友可以参考下
    2014-09-09
  • Python中字符串List按照长度排序

    Python中字符串List按照长度排序

    这篇文章主要介绍了字符串List按照长度排序(python)的实现方法啊,本文通过实例代码给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
    2019-07-07
  • 使用pandas的box_plot去除异常值

    使用pandas的box_plot去除异常值

    今天小编就为大家分享一篇使用pandas的box_plot去除异常值,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12

最新评论