tensorflow实现线性回归、以及模型保存与加载

内容:包含tensorflow变量作用域、tensorboard收集、模型保存与加载、自定义命令行参数

1、知识点

"""
1、训练过程:
1、准备好特征和目标值
2、建立模型,随机初始化权重和偏置; 模型的参数必须要使用变量
3、求损失函数,误差为均方误差
4、梯度下降去优化损失过程,指定学习率 2、Tensorflow运算API:
1、矩阵运算:tf.matmul(x,w)
2、平方:tf.square(error)
3、均值:tf.reduce_mean(error)
4、梯度下降API: tf.train.tf.train.GradientDescentOptimizer(learning_rate)
learning_rate:学习率
minimize(lose):优化最小损失
return:梯度下降op
3、注意项:
1、tf.Variable()中的trainable表示为变量在训练过程可变
2、学习率设置很大时,可能会出现权重和偏置为NAN,这种现象表现叫梯度爆炸
解决方法:1、重新设计网络 2、调整学习率 3、使用梯度截断 4、使用激活函数 4、变量作用域:主要用于tensorboard查看,同时使代码更加清晰 with tf.variable_scope("data"): 5、添加权重、参数、损失值等在tensoroard观察的情况:
1、收集tensor变量 tf.summary.scalar('losses', loss)、tf.summary.histogram('weight',weight)
2、合并变量并写入事件文件:merged = tf.summary.merge_all()
3、运行合并的tensor:summary = sess.run(merged)、fileWriter.add_summary(summary,i) 6、模型保存与加载: tf.train.Saver(var_list=None,max_to_keep=5)
var_list:指定将要保存和还原的变量。它可以作为一个dict或一个列表传递.
max_to_keep:指示要保留的最近检查点文件的最大数量。
创建新文件时,会删除较旧的文件。如果无或0,则保留所有
检查点文件。默认为5(即保留最新的5个检查点文件。
a)例如:saver.save(sess, '/tmp/ckpt/test/model')
saver.restore(sess, '/tmp/ckpt/test/model')
保存文件格式:checkpoint文件 b)模型加载:
if os.path.exists('./ckpt/checkpoint'):
saver.restore(sess,'./ckpt/model') 7、自定义命令行参数:
1、首先定义有哪些参数需要在运行时候指定
2、程序当中获取定义命令行参数
3、运行 python *.py --max_step=500 --model_dir='./ckpt/model'
本例执行命令:python tensorflow实现线性回归.py --max_step=50 --model_dir="./ckpt/model" """

2、代码

# coding = utf-8
import tensorflow as tf
import os #自定义命令行参数
tf.app.flags.DEFINE_integer("max_step",100,"模型训练的步数")
tf.app.flags.DEFINE_string("model_dir"," ","模型文件加载路径")
#定义获取命令行参数名字
FLAGS = tf.app.flags.FLAGS
def myLinear():
"""
自实现一个线性回归预测
:return:
"""
#定义作用域
with tf.variable_scope("data"):
#1、准备数据,特征值
x = tf.random_normal([100,1],mean=1.75,stddev=0.5)
#目标值。矩阵相乘,必须是二维的
y_true = tf.matmul(x,[[0.7]])+0.8 with tf.variable_scope("model"):
#2、建立线性模型 y = wx+b ,随机给定w和b的值,必须定义成变量
weight = tf.Variable(tf.random_normal([1,1],mean=0.0,stddev=1.0,name="w"))
bias = tf.Variable(0.0,name="b")
y_predict = tf.matmul(x,weight)+bias with tf.variable_scope("loss"):
#3、建立损失函数,均方误差
loss = tf.reduce_mean(tf.square(y_true-y_predict))
with tf.variable_scope("optimizer"):
#4、梯度下降优化损失
train_op = tf.train.GradientDescentOptimizer(learning_rate=0.01).minimize(loss) ##############模型保存################
with tf.variable_scope("save_model"):
saver = tf.train.Saver(); # 初始化变量
init_op = tf.global_variables_initializer()
####################收集变量#########################
# 收集tensor变量
tf.summary.scalar('losses', loss)
tf.summary.histogram('weight',weight) #合并变量并写入事件文件
merged = tf.summary.merge_all()
#通过会话运行程序
with tf.Session() as sess:
#必须要运行初始化变量
sess.run(init_op) #打印随机最先初始化的权重和偏置
print("随机初始化的参数权重为:%f,偏置为:%f" % (weight.eval(),bias.eval()))
# 建立事件文件
fileWriter = tf.summary.FileWriter("./tmp", graph=sess.graph) ###########加载模型,覆盖之前的参数##############
if os.path.exists('./ckpt/checkpoint'):
#saver.restore(sess,'./ckpt/model')
saver.restore(sess, FLAGS.model_dir) #循环优化
for i in range(FLAGS.max_step):
#运行优化
sess.run(train_op)
#运行合并的tensor
summary = sess.run(merged)
fileWriter.add_summary(summary,i)
print("第%d次优化参数权重为:%f,偏置为:%f" % (i,weight.eval(), bias.eval()))
################模型保存##############
# if i%1000==0:
# #saver.save(sess,'./ckpt/model')
# saver.save(sess,FLAGS.model_dir)
saver.save(sess, FLAGS.model_dir)
return None if __name__ == '__main__':
myLinear()
上一篇:转 tensorflow模型保存 与 加载


下一篇:[PyTorch 学习笔记] 7.1 模型保存与加载