用tensorflow构建线性回归模型的示例代码
用tensorflow构建简单的线性回归模型是tensorflow的一个基础样例，但是原有的样例存在一些问题，我在实际调试的过程中做了一点自己的改进，并且有一些体会。
首先总结一下tf构建模型的总体套路
1、先定义模型的整体图结构，未知的部分，比如输入就用placeholder来代替。
2、再定义最后与目标的误差函数。
3、最后选择优化方法。
另外几个值得注意的地方是：
1、tensorflow构建模型第一步是先用代码搭建图模型，此时图模型是静止的，是不产生任何运算结果的，必须使用Session来驱动。
2、第二步根据问题的不同要求构建不同的误差函数，这个函数就是要求优化的函数。
3、调用合适的优化器优化误差函数，注意，此时反向传播调整参数的过程隐藏在了图模型当中，并没有显式显现出来。
4、tensorflow的中文意思是张量流动，也就是说有两个意思，一个是参与运算的不仅仅是标量或是矩阵，甚至可以是具有很高维度的张量，第二个意思是这些数据在图模型中流动，不停地更新。
5、session的run函数中，按照传入的操作向上查找，凡是操作中涉及的无论是变量、常量都要参与运算，占位符则要在run过程中以字典形式传入。
以上时tensorflow的一点认识，下面是关于梯度下降的一点新认识。
1、梯度下降法分为批量梯度下降和随机梯度下降法，第一种是所有数据都参与运算后，计算误差函数，根据此误差函数来更新模型参数，实际调试发现，如果定义误差函数为平方误差函数，这个值很快就会飞掉，原因是，批量平方误差都加起来可能会很大，如果此时学习率比较高，那么调整就会过，造成模型参数向一个方向大幅调整，造成最终结果发散。所以这个时候要降低学习率，让参数变化不要太快。
2、随机梯度下降法，每次用一个数据计算误差函数，然后更新模型参数，这个方法有可能会造成结果出现震荡，而且麻烦的是由于要一个个取出数据参与运算，而不是像批量计算那样采用了广播或者向量化乘法的机制，收敛会慢一些。但是速度要比使用批量梯度下降要快，原因是不需要每次计算全部数据的梯度了。比较折中的办法是mini-batch，也就是每次选用一小部分数据做梯度下降，目前这也是最为常用的方法了。
3、epoch概念：所有样本集过完一轮，就是一个epoch，很明显，如果是严格的随机梯度下降法，一个epoch内更新了样本个数这么多次参数，而批量法只更新了一次。
以上是我个人的一点认识，希望大家看到有不对的地方及时批评指针，不胜感激！
#encoding=utf-8
__author__ = 'freedom'
import tensorflow as tf
import numpy as np
def createData(dataNum,w,b,sigma):
train_x = np.arange(dataNum)
train_y = w*train_x+b+np.random.randn()*sigma
#print train_x
#print train_y
return train_x,train_y
def linerRegression(train_x,train_y,epoch=100000,rate = 0.000001):
train_x = np.array(train_x)
train_y = np.array(train_y)
n = train_x.shape[0]
x = tf.placeholder("float")
y = tf.placeholder("float")
w = tf.Variable(tf.random_normal([1])) # 生成随机权重
b = tf.Variable(tf.random_normal([1]))
pred = tf.add(tf.mul(x,w),b)
loss = tf.reduce_sum(tf.pow(pred-y,2))
optimizer = tf.train.GradientDescentOptimizer(rate).minimize(loss)
init = tf.initialize_all_variables()
sess = tf.Session()
sess.run(init)
print 'w start is ',sess.run(w)
print 'b start is ',sess.run(b)
for index in range(epoch):
#for tx,ty in zip(train_x,train_y):
#sess.run(optimizer,{x:tx,y:ty})
sess.run(optimizer,{x:train_x,y:train_y})
# print 'w is ',sess.run(w)
# print 'b is ',sess.run(b)
# print 'pred is ',sess.run(pred,{x:train_x})
# print 'loss is ',sess.run(loss,{x:train_x,y:train_y})
#print '------------------'
print 'loss is ',sess.run(loss,{x:train_x,y:train_y})
w = sess.run(w)
b = sess.run(b)
return w,b
def predictionTest(test_x,test_y,w,b):
W = tf.placeholder(tf.float32)
B = tf.placeholder(tf.float32)
X = tf.placeholder(tf.float32)
Y = tf.placeholder(tf.float32)
n = test_x.shape[0]
pred = tf.add(tf.mul(X,W),B)
loss = tf.reduce_mean(tf.pow(pred-Y,2))
sess = tf.Session()
loss = sess.run(loss,{X:test_x,Y:test_y,W:w,B:b})
return loss
if __name__ == "__main__":
train_x,train_y = createData(50,2.0,7.0,1.0)
test_x,test_y = createData(20,2.0,7.0,1.0)
w,b = linerRegression(train_x,train_y)
print 'weights',w
print 'bias',b
loss = predictionTest(test_x,test_y,w,b)
print loss
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
要实现这样一个需求寄送包裹小于5kg，每公斤0.5元，大于等于5kg，超出5公斤部分，按照每公斤0.8元计算，输入重量，输出应付金额，下面小编给大家分享实现代码，感兴趣的朋友跟随小编一起看看吧2022-02-02
字典是Python语言中唯一的映射类型。字典对象是可变的，它是一个容器类型，能存储任意个数的Python对象，其中也可包括其他容器类型。在学习了 Python 基本的字典操作后，通过学习本文的这些进阶操作，让写出的代码更加优雅简洁和pythonic。下面来一起看看吧。2016-11-11
今天小编就为大家分享一篇在Python中输入一个以空格为间隔的数组方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-11-11
这篇文章主要为大家详细介绍了python实现超级马里奥，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2020-03-03
这篇文章主要为大家详细介绍了wxpython实现按钮切换界面的方法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2019-11-11
在本篇内容里，小编给各位整理了关于Python小白不正确的使用类变量实例内容，有兴趣的朋友们可以学习下。2020-05-05
今天小编就为大家分享一篇基于Django框架的权限组件rbac实例讲解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
Python基础globlal nonlocal和闭包函数装饰器语法糖
这篇文章主要为大家介绍了Python基础globlal nonlocal和闭包函数装饰器语法糖示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-11-11
python图像处理基本操作总结（PIL库、Matplotlib及Numpy）
这篇文章主要给大家介绍了关于python图像处理基本操作的相关资料，主要利用的是PIL库、Matplotlib及Numpy等处理方法,需要的朋友可以参考下2021-06-06
DataFrame 类型类似于数据库表结构的数据结构，这篇文章主要介绍了pandas 数据结构之DataFrame,需要的朋友可以参考下2019-10-10
最新评论