Tensorflow 卷积的梯度反向传播过程
更新时间：2020年02月10日 08:42:06 作者：LQ6H
今天小编就为大家分享一篇Tensorflow 卷积的梯度反向传播过程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
一. valid卷积的梯度
我们分两种不同的情况讨论valid卷积的梯度：第一种情况，在已知卷积核的情况下，对未知张量求导(即对张量中每一个变量求导)；第二种情况，在已知张量的情况下，对未知卷积核求导(即对卷积核中每一个变量求导)
1.已知卷积核，对未知张量求导
我们用一个简单的例子理解valid卷积的梯度反向传播。假设有一个3x3的未知张量x，以及已知的2x2的卷积核K
Tensorflow提供函数tf.nn.conv2d_backprop_input实现了valid卷积中对未知变量的求导，以上示例对应的代码如下：
import tensorflow as tf
# 卷积核
kernel=tf.constant(
[
[[[3]],[[4]]],
[[[5]],[[6]]]
]
,tf.float32
)
# 某一函数针对sigma的导数
out=tf.constant(
[
[
[[-1],[1]],
[[2],[-2]]
]
]
,tf.float32
)
# 针对未知变量的导数的方向计算
inputValue=tf.nn.conv2d_backprop_input((1,3,3,1),kernel,out,[1,1,1,1],'VALID')
session=tf.Session()
print(session.run(inputValue))
[[[[ -3.]
[ -1.]
[ 4.]]
[[ 1.]
[ 1.]
[ -2.]]
[[ 10.]
[ 2.]
[-12.]]]]
2.已知输入张量，对未知卷积核求导
假设已知3行3列的张量x和未知的2行2列的卷积核K
Tensorflow提供函数tf.nn.conv2d_backprop_filter实现valid卷积对未知卷积核的求导，以上示例的代码如下：
import tensorflow as tf
# 输入张量
x=tf.constant(
[
[
[[1],[2],[3]],
[[4],[5],[6]],
[[7],[8],[9]]
]
]
,tf.float32
)
# 某一个函数F对sigma的导数
partial_sigma=tf.constant(
[
[
[[-1],[-2]],
[[-3],[-4]]
]
]
,tf.float32
)
# 某一个函数F对卷积核k的导数
partial_sigma_k=tf.nn.conv2d_backprop_filter(x,(2,2,1,1),partial_sigma,[1,1,1,1],'VALID')
session=tf.Session()
print(session.run(partial_sigma_k))
[[[[-37.]]
[[-47.]]]
[[[-67.]]
[[-77.]]]]
二. same卷积的梯度
1.已知卷积核，对输入张量求导
假设有3行3列的已知张量x，2行2列的未知卷积核K
import tensorflow as tf
# 卷积核
kernel=tf.constant(
[
[[[3]],[[4]]],
[[[5]],[[6]]]
]
,tf.float32
)
# 某一函数针对sigma的导数
partial_sigma=tf.constant(
[
[
[[-1],[1],[3]],
[[2],[-2],[-4]],
[[-3],[4],[1]]
]
]
,tf.float32
)
# 针对未知变量的导数的方向计算
partial_x=tf.nn.conv2d_backprop_input((1,3,3,1),kernel,partial_sigma,[1,1,1,1],'SAME')
session=tf.Session()
print(session.run(inputValue))
[[[[ -3.]
[ -1.]
[ 4.]]
[[ 1.]
[ 1.]
[ -2.]]
[[ 10.]
[ 2.]
[-12.]]]]
2.已知输入张量，对未知卷积核求导
假设已知3行3列的张量x和未知的2行2列的卷积核K
import tensorflow as tf
# 卷积核
x=tf.constant(
[
[
[[1],[2],[3]],
[[4],[5],[6]],
[[7],[8],[9]]
]
]
,tf.float32
)
# 某一函数针对sigma的导数
partial_sigma=tf.constant(
[
[
[[-1],[-2],[1]],
[[-3],[-4],[2]],
[[-2],[1],[3]]
]
]
,tf.float32
)
# 针对未知变量的导数的方向计算
partial_sigma_k=tf.nn.conv2d_backprop_filter(x,(2,2,1,1),partial_sigma,[1,1,1,1],'SAME')
session=tf.Session()
print(session.run(partial_sigma_k))
[[[[ -1.]]
[[-54.]]]
[[[-43.]]
[[-77.]]]]
以上这篇Tensorflow 卷积的梯度反向传播过程就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
ImageMagick是一个功能强大的开源图形处理软件,可以用来读、写和处理超过90种的图片文件,包括流行的JPEG、GIF、 PNG、PDF以及PhotoCD等格式。接下来通过本文给大家浅析ImageMagick命令执行漏洞的知识，一起看看吧2016-10-10
Python实现PS滤镜特效Marble Filter玻璃条纹扭曲效果示例
这篇文章主要介绍了Python实现PS滤镜特效Marble Filter玻璃条纹扭曲效果,涉及Python基于skimage库实现图形条纹扭曲效果的相关操作技巧,需要的朋友可以参考下2018-01-01
这篇文章主要介绍了python创建模板文件及使用教程示例2021-10-10
这篇文章主要介绍了使用 Python 查找本月的最后一天,在本文中，我们学习了使用 datetime 和 calendar 等内置库以及 arrow 和 pandas 等第三方库在 Python 中查找月份最后一天的各种方法，需要的朋友可以参考下2023-05-05
pytorch下的unsqueeze和squeeze的用法说明
这篇文章主要介绍了pytorch下的unsqueeze和squeeze的用法说明，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-02-02
这篇文章主要为大家详细介绍了python thrift搭建服务端和客户端测试程序，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-01-01
python中如何利用matplotlib画多个并列的柱状图
python是一个很有趣的语言,可以在命令行窗口运行,下面这篇文章主要给大家介绍了关于python中如何利用matplotlib画多个并列的柱状图的相关资料,需要的朋友可以参考下2022-01-01
Python3交互式shell ipython3安装及使用详解
这篇文章主要介绍了Python3交互式shell ipython3安装及使用详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-07-07
这篇文章主要介绍了pycharm全局修改方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教2022-02-02
所谓重载，就是多个相同函数名的函数，根据传入的参数个数，参数类型而执行不同的功能。所以函数重载实质上是为了解决编程中参数可变不统一的问题。这篇文章主要介绍了老生常谈python中的重载,需要的朋友可以参考下2018-11-11
最新评论