tensorflow 实现自定义梯度反向传播代码
更新时间：2020年02月10日 08:34:36 作者：青盏
今天小编就为大家分享一篇tensorflow 实现自定义梯度反向传播代码，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
以sign函数为例：
sign函数可以对数值进行二值化，但在梯度反向传播是不好处理，一般采用一个近似函数的梯度作为代替，如上图的Htanh。在[-1,1]直接梯度为1，其他为0。
#使用修饰器，建立梯度反向传播函数。其中op.input包含输入值、输出值，grad包含上层传来的梯度
@tf.RegisterGradient("QuantizeGrad")
def sign_grad(op, grad):
input = op.inputs[0]
cond = (input>=-1)&(input<=1)
zeros = tf.zeros_like(grad)
return tf.where(cond, grad, zeros)
#使用with上下文管理器覆盖原始的sign梯度函数
def binary(input):
x = input
with tf.get_default_graph().gradient_override_map({"Sign":'QuantizeGrad'}):
x = tf.sign(x)
return x
#使用
x = binary(x)
以上这篇tensorflow 实现自定义梯度反向传播代码就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
字典(dictionary)是除列表意外python之中最灵活的内置数据结构类型。列表是有序的对象结合，字典是无序的对象集合。两者之间的区别在于：字典当中的元素是通过键来存取的，而不是通过偏移存取。2016-11-11
这篇文章主要为大家详细介绍了OpenCV实现相机标定，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-08-08
这篇文章主要介绍了使用Python制作一个极简四则运算解释器,在使用工具之前，至少也要了解工具的作用,需要的朋友可以参考下2023-04-04
这篇文章主要介绍了python面试题之列表声明,结合实例形式分析了Python列表的声明、计算相关操作技巧,需要的朋友可以参考下2019-07-07
这篇文章主要给大家介绍了关于python自动填写问卷星问卷以及提交问卷等功能的相关资料,包括使用Selenium库模拟浏览器操作、定位元素、填写表单等,通过本文的学习,读者可以了解如何利用Python自动化技术提高问卷填写效率,需要的朋友可以参考下2023-03-03
这篇文章主要为大家详细介绍了python实现二维插值的三维显示，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-12-12
在Python中我们经常使用pip来安装第三方Python软件包,其实我们每个人都可以免费地将自己写的Python包发布到PyPI上,本文小编就来教教大家如何将自己的Python包发布到PyPI上吧2023-09-09
今天小编就为大家分享一篇python 去除二维数组/二维列表中的重复行方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
Python使用Selenium执行JavaScript代码的步骤详解
Selenium是一个用于自动化浏览器操作的工具,可以模拟人工操作,执行各种浏览器操作,而JavaScript是一种常用的脚本语言,本文将介绍如何在Python中使用Selenium执行JavaScript代码,并给出一些常见的应用示例2023-11-11
Python 1.5之前版本则是通过 regex 模块提供 Emecs 风格的模式。Emacs 风格模式可读性稍差些，而且功能也不强，因此编写新代码时尽量不要再使用 regex 模块，当然偶尔你还是可能在老代码里发现其踪影2008-09-09
最新评论