使用tensorflow 实现反向传播求导
更新时间：2021年05月26日 11:58:37 作者：睡觉不准打呼噜
这篇文章主要介绍了使用tensorflow 实现反向传播求导，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
看代码吧~
X=tf.constant([-1,-2],dtype=tf.float32)
w=tf.Variable([2.,3.])
truth=[3.,3.]
Y=w*X
# cost=tf.reduce_sum(tf.reduce_sum(Y*truth)/(tf.sqrt(tf.reduce_sum(tf.square(Y)))*tf.sqrt(tf.reduce_sum(tf.square(truth)))))
cost=Y[1]*Y
optimizer = tf.train.GradientDescentOptimizer(1).minimize(cost)
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
print(sess.run(Y))
print(sess.run(w))
print(sess.run(cost))
print(sess.run(Y))
sess.run(optimizer)
print(sess.run(w))
结果如下
W由[2,3]变成[-4，-25]
过程：
f=y0*y=w0*x0*w*x=[w1*x1*w0*x0,w1*x1*w1*x1,]
f对w0求导，得w1*x0*x1+0=6 ,所以新的w0=w0-6=-4
f对w1求导，得 w0*x0*x1+2*w1*x1*x1=28,所以新的w1=w1-28=-25
补充：【TensorFlow篇】--反向传播
一、前述
反向自动求导是 TensorFlow 实现的方案，首先，它执行图的前向阶段，从输入到输出，去计算节点
值，然后是反向阶段，从输出到输入去计算所有的偏导。
二、具体
1、举例
图是第二个阶段，在第一个阶段中，从 x =3和 y =4开始去计算所有的节点值
f ( x / y )=x 2 * y + y + 2
求解的想法是逐渐的从图上往下，计算 f ( x , y )的偏导，使用每一个连续的节点，直到我们到达变量节
点，严重依赖链式求导法则！
2.具体过程：
因为n7是输出节点，所以f=n7，所以𝜕f/𝜕𝑛7= 1
让我们继续往下走到n5节点，𝜕f/𝜕𝑛5=𝜕f/𝜕𝑛7∗𝜕𝑛7/𝜕𝑛5 . 我们已知𝜕f/𝜕𝑛7=1，所以我们需要知道𝜕𝑛7/𝜕𝑛5 ，因为n7=n5+n6，所以我们求得𝜕𝑛7/𝜕𝑛5=1，所以𝜕f/𝜕𝑛5=1*1=1
现在我们继续走到节点n4，𝜕f/𝜕𝑛4=𝜕f/𝜕𝑛5∗𝜕𝑛5/𝜕𝑛4,因为n5=n4*n2，我们求得�𝑛5/𝜕𝑛4=n2，𝜕f/𝜕𝑛4=1*4
沿着图一路向下，我们可以计算出所有节点，就能计算出 𝜕𝑓/𝜕x= 24，𝜕𝑓/𝜕y= 10
那我们就可以利用和上面类似的方式方法去计算𝜕𝑓/𝜕𝑤
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
多态性通常在类的方法中使用,其中我们可以具有相同方法名称的多个类,本文给大家介绍Python 中多态性的示例和类的继承多态性详解,需要的朋友可以参考下2023-10-10
今天小编就为大家分享一篇使用Python中的reduce()函数求积的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
这篇文章主要为大家详细介绍了python爬取网页内容转换为PDF文件，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-06-06
这篇文章主要介绍了Python中的多重装饰器,多重装饰器即多个装饰器修饰同一个对象,但实际上并非完全如此,本文用实例讲解了各种情况,需要的朋友可以参考下2015-04-04
本文主要介绍了pandas预处理部分地区数据案例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2023-01-01
今天小编就为大家分享一篇Python获取数据库数据并保存在excel表格中的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-06-06
这篇文章主要为大家详细介绍了python3 pygame实现接小球游戏，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-05-05
这篇文章主要为大家介绍了Python链表排序相关问题解法示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2024-01-01
前段时间看到有人问如何使用Python实现多张图片组成文字的效果？觉得还挺有意思，于是尝试做了一下，刚好赶上端午节，所以打算从网上下载1000张王心凌的照片，组成端午安康的字样，感兴趣的可以了解一下2022-06-06
这篇文章主要介绍了使用Python开发windows GUI程序入门实例,本文着重介绍开发环境必须的软件,代码实现相对简单,需要的朋友可以参考下2014-10-10
最新评论