GELU激活函数算法
更新时间：2022年06月02日 11:28:05 作者：alwayschasing
这篇文章主要为大家介绍了GELU激活函数算法，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
Gaussian Error Linerar Units(GELUS)
论文链接：https://arxiv.org/abs/1606.08415
最近在看bert源码，发现里边的激活函数不是Relu等常见的函数，是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。
不管其他领域的鄙视链，在激活函数领域，大家公式的鄙视链应该是：Elus > Relu > Sigmoid ，这些激活函数都有自身的缺陷， sigmoid容易饱和，Elus与Relu缺乏随机因素。
在神经网络的建模过程中，模型很重要的性质就是非线性，同时为了模型泛化能力，需要加入随机正则，例如dropout(随机置一些输出为0,其实也是一种变相的随机非线性激活)， 而随机正则与非线性激活是分开的两个事情， 而其实模型的输入是由非线性激活与随机正则两者共同决定的。
GELUs正是在激活中引入了随机正则的思想，是一种对神经元输入的概率描述，直观上更符合自然的认识，同时实验效果要比Relus与ELUs都要好。
翻看bert源码给出的GELU代码表示如下：
def gelu(input_tensor): cdf = 0.5 * (1.0 + tf.erf(input_tensor / tf.sqrt(2.0))) return input_tesnsor*cdf
感觉bert源码中的近似计算更简单，具体怎么近似的，我猜不出来。
下面贴一些论文的实验图，就是证明GELU学习更快且更好：
以上就是GELU激活函数算法的详细内容，更多关于GELU激活函数的资料请关注脚本之家其它相关文章！
相关文章
在python新式类中，可以定义一个变量__slots__，它的作用是阻止在实例化类时为实例分配dict，下面这篇文章主要给大家介绍了关于Python中__slots__的相关资料，需要的朋友可以参考借鉴，下面来一起看看吧。2017-07-07
这篇文章主要介绍了17条提高工作效率的Python技巧分享，掌握这些Python技巧可以让我们的生活更加轻松，本文就日常中经常使用到的Python技巧进行归纳总结,对于常用的17条技巧均给出了完整的代码示例和具体讲解,需要的朋友可以参考下2022-01-01
这篇文章主要介绍了python实现对svn的操作及信息获取示例过程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步2021-10-10
Python按照某列内容对两个DataFrame进行合并操作方法
这篇文章主要给大家介绍了关于Python按照某列内容对两个DataFrame进行合并操作的相关资料,文中通过代码示例介绍的非常详细,对大家学习或者使用Python具有一定的参考借鉴价值,需要的朋友可以参考下2023-08-08
这篇文章主要介绍了pandas映射与数据转换的相关资料，帮助大家更好的利用python进行数据分析，感兴趣的朋友可以了解下2021-01-01
Python3最重要的新特性之一是对字符串和二进制数据流做了明确的区,下面这篇文章主要给大家介绍了关于Python中bytes和str区别与联系的相关资料,需要的朋友可以参考下2022-05-05
这篇文章主要介绍了python中的编码和解码及\x和\u问题，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-05-05
使用urllib库的urlretrieve()方法下载网络文件到本地的方法
今天小编就为大家分享一篇使用urllib库的urlretrieve()方法下载网络文件到本地的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-12-12
下面小编就为大家带来一篇老生常谈python之鸭子类和多态。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧2017-06-06
这篇文章主要为大家介绍了Python动态配置管理Dynaconf实现示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-07-07
最新评论