基于梯度爆炸的解决方法:clip gradient
更新时间：2020年02月04日 14:50:49 作者：小强的呼呼呼
今天小编就为大家分享一篇基于梯度爆炸的解决方法:clip gradient，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
1. 梯度爆炸的影响
在一个只有一个隐藏节点的网络中，损失函数和权值w偏置b构成error surface，其中有一堵墙，如下所示
损失函数每次迭代都是每次一小步，但是当遇到这堵墙时，在墙上的某点计算梯度，梯度会瞬间增大，指向某处不理想的位置。如果我们使用缩放，可以把误导控制在可接受范围内，如虚线箭头所示
2. 解决梯度爆炸问题的方法
通常会使用一种叫”clip gradients “的方法. 它能有效地权重控制在一定范围之内.
算法步骤如下。
首先设置一个梯度阈值：clip_gradient
在后向传播中求出各参数的梯度，这里我们不直接使用梯度进去参数更新，我们求这些梯度的l2范数
然后比较梯度的l2范数||g||与clip_gradient的大小
如果前者大，求缩放因子clip_gradient/||g||, 由缩放因子可以看出梯度越大，则缩放因子越小，这样便很好地控制了梯度的范围
最后将梯度乘上缩放因子便得到最后所需的梯度
3. 有无clip_gradient在GRU模型中的结果比较
无clip_gradient
可以很清楚地发现在2000次迭代出发生了梯度爆炸，最终影响了训练的效果。
有clip_gradient
可以发现clip_gradient在前期有效了控制了梯度爆炸的影响，使得最终的loss能下降到满意的结果
以上这篇基于梯度爆炸的解决方法:clip gradient就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要介绍了python 使用while写猜年龄小游戏过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2019-10-10
Python +Selenium解决图片验证码登录或注册问题(推荐)
这篇文章主要介绍了Python Selenium解决图片验证码登录或注册问题,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2020-02-02
这篇文章主要介绍了Python基础之字符串操作常用函数集合,需要的朋友可以参考下2020-02-02
这篇文章主要介绍了Python3 pywin32模块安装的详细步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-05-05
这篇文章主要为大家详细介绍了如何使用Python实现统计函数调用的耗时,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下2024-04-04
今天小编就为大家分享一篇python中设置超时跳过,超时退出的方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了利用python爬虫获取黄金价格,需要的朋友可以参考下2018-06-06
在数字时代,图像作为信息传递的重要媒介,在网页设计、移动应用和多媒体制作中扮演着不可或缺的角色,本文将详细介绍如何使用Python,一个功能强大且易于学习的编程语言,来实现图像的有效压缩,感兴趣的朋友可以参考下2024-03-03
这篇文章主要介绍了python定义类self用法实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-01-01
今天小编就为大家分享一篇python处理csv中的空值方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-06-06
最新评论