TensorFlow保存、加载模型参数 | 原理描述及踩坑经验总结

写在前面

我之前使用的LSTM计算单元是根据其前向传播的计算公式手动实现的,这两天想要和TensorFlow自带的tf.nn.rnn_cell.BasicLSTMCell()比较一下,看看哪个训练速度快一些。在使用tf.nn.rnn_cell.BasicLSTMCell()进行建模的时候,遇到了模型保存、加载的问题。

查找了一些博主的经验,再加上自己摸索,在这里做个笔记,总结经验。其中关键要素有以下3点:

1.需要保存哪些变量(tensor),就要给哪些变量取名字(即name='XXXXX')。

2.将tf.train.Saver()与需要保存的变量(tensor)定义在一个函数里,否则保存会出错。

3.加载模型的时候,先加载图,再加载变量(tensor)。

下面通过实例进行描述。

模型保存

tf.train.Saver()可以自动保存变量和计算图。

保存前注意!!!需要对要保存的变量命名,即属性中的name=XXX

下面是使用tf.nn.rnn_cell.BasicLSTMCell()自建的一个LSTM_Cel

 class LSTM_Cell(object):
# train_data 格式示例,batch_size*num_steps*input_dim 批大小*时间窗口长度*单时间节点输入维度
# train_label格式示例,batch_size*1 # TODO 该模型紧输出一维结果。
# input_dim 格式 int, 输入数据在单时间节点上的维度
# num_nodes 神经元数目/维度
def __init__(self, train_data, train_label, input_dim, batch_size=10, num_nodes=64):
tf.reset_default_graph()
self.num_nodes = num_nodes
self.input_dim = input_dim
self.train_data = train_data
self.train_label = train_label
self.batch_size = batch_size
gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.666)
self.sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) def loss_func(self,lr=0.001):
self.w = tf.Variable(tf.truncated_normal([self.num_nodes, 1], -0.1, 0.1),name='w') # 1 是指输出维度,这里预测一个值,因此维度是1
self.b = tf.Variable(tf.zeros([1]),name='b')
self.batch_in = tf.placeholder(tf.float32, [None, self.train_data.shape[1], self.input_dim],name='batch_in')
self.batch_out = tf.placeholder(tf.float32, [None, 1],name='batch_out')
lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(self.num_nodes,forget_bias=1.0,state_is_tuple=True)
# init_state = lstm_cell.zero_state(self.batch_in[0],dtype=tf.float32)
output, final_state = tf.nn.dynamic_rnn(lstm_cell, self.batch_in, time_major=False, dtype=tf.float32) # initial_state=init_state,
self.y_pre = tf.nn.sigmoid(tf.matmul(final_state[1], self.w) + self.b,name="y_pre")
self.mse = tf.sqrt(tf.reduce_mean(tf.square(self.y_pre-self.batch_out)),name='mse')
self.cross_entropy = -tf.reduce_mean(self.batch_out * tf.log(self.y_pre),name='cross_entropy')
self.train_op = tf.train.GradientDescentOptimizer(lr).minimize(self.mse)
self.saver = tf.train.Saver() def train_model(self,savepath,epochs=1000):
self.sess.run(tf.global_variables_initializer())
for i in range(epochs):
for j in range(int(len(self.train_data)/self.batch_size)):
batch_i = self.train_data[j*self.batch_size:(j+1)*self.batch_size]
batch_o = self.train_label[j*self.batch_size:(j+1)*self.batch_size]
self.sess.run(self.train_op, feed_dict={self.batch_in:batch_i, \
self.batch_out:batch_o.reshape(self.batch_size,1)})
if (i+1)%200==0:
print('epoch:%d'%(i+1),self.sess.run(self.mse,feed_dict={self.batch_in:batch_i, \
self.batch_out:batch_o.reshape(self.batch_size,1)}))
save_path = self.saver.save(self.sess, savepath)
print("模型保存于: ", save_path)

在LSTM_Cell类中,构造函数定义了一些固定参数以及TensorFlow会话(tf.Session()),而我们所要保存的变量(tensor)都在loss_func()函数中定义。包括:

①最后一个全连接层的w和b;

②输入、输出变量的占位符batch_in,batch_out;

③LSTM单元的计算过程;

④计算最终计算结果y_pre,均方根误差mse,交叉熵计算结果cross_entropy,使用随机梯度下降的训练步骤train_op;

⑤存储器tf.train.Saver()。

在本例中,只有变量’w’, ’b’, ’batch_in’, ’batch_out’, ’y_pre’, ’mse’, ’cross_entropy’在属性中有过命名,会被保存下来。

这里,tf.train.Saver()只能保存本函数(即loss_func)中定义的变量(tensor)。

train_model()函数实现训练过程,并调用self.saver.save(self.sess, savepath)来对模型及命名了的变量(tensor)进行保存。

下面是调用LSTM_Cell类进行训练并保存模型的代码:

 # 初始化LSTM类
lstm_obj = LSTM_Cell(sample_input,sample_output,input_dim=1,batch_size=_batch_size,num_nodes=hidden_size)
lstm_obj.loss_func(lr) # 构建计算图
# TODO 训练
lstm_obj.train_model(savepath=saved_path,epochs=epochs)

其中,保存路径为

 saved_path = "./standard_LSTM/models/Basic_LSTM_TF_models/59model.ckpt"

最终得到的保存结果为下方4个文件(暂时无视两个png图片)

TensorFlow保存、加载模型参数 | 原理描述及踩坑经验总结

.meta文档是计算图保存的位置,.data是参数数据,后面的00000-of-00001是模型的版本号。

模型加载

加载困扰了我很久,后面经过摸索才知道有两个关键部分,一个是计算图的加载,一个是变量的加载,两者缺一不可。

LSTM_Cell类中,加载函数(load_model)定义如下。

     def load_model(self,savepath):
len_last = len(savepath.split('/')[-1])
self.saver = tf.train.import_meta_graph(savepath+'.meta')
self.saver.restore(self.sess,tf.train.latest_checkpoint(savepath[:-len_last])) # 加载最后一个模型
self.graph = tf.get_default_graph()
tensor_name_list = [tensor.name for tensor in self.graph.as_graph_def().node]
self.w = self.graph.get_tensor_by_name('w:0')
self.b = self.graph.get_tensor_by_name('b:0')
self.batch_in = self.graph.get_tensor_by_name("batch_in:0")
self.batch_out = self.graph.get_tensor_by_name("batch_out:0")
self.y_pre = self.graph.get_tensor_by_name('y_pre:0')
self.mse = self.graph.get_tensor_by_name('mse:0')
self.cross_entropy = self.graph.get_tensor_by_name('cross_entropy:0')

首先定义一个self.saver,来辅助加载图及变量。

第一步加载图,即tf.train.import_meta_graph(savepath+'.meta'),就是加载上图中的 59model.ckpt.meta

saver.restore()函数将模型参数进行加载,savepath[:-len_last]是指保存模型的文件夹路径,即"./standard_LSTM/models/Basic_LSTM_TF_models/" ,将模型加载到默认的计算图中(default_graph)。

此时,各变量(即tensor)已经在计算图中了,但要正常调用,还需要从图中取出并将其设置成变量。

具体方法是先取得默认的计算图self.graph,再通过get_tensor_by_name()方法将tensor实例化,每个tensor的名称与模型保存时name=”XXX”的名称相同,并且后方需要加上:<index>,不重名的情况下这个index一般是0。

也有博主说tensor的名称可以在tensor_name_list中查看到,但我打印出来后发现这个list太长,不大实用。

这时候就加载模型完毕了,可以调用self.sess对self.y_pre、self.mse进行计算。

示例计算如下:

     def predict_next_one(self,batch_i):  # batch_i长度 为样本时间序列长度
temp = self.sess.run(self.y_pre,feed_dict={self.batch_in:batch_i.reshape(1,len(batch_i),1)})
return temp[0][0]

外部的调用方法如下,(构造函数后就不用使用loss_func构建计算过程了,直接加载模型就行。)

 # 初始化LSTM类
lstm_obj = LSTM_Cell(sample_input,sample_output,input_dim=1,batch_size=_batch_size,num_nodes=hidden_size)
# TODO 加载模型
lstm_obj.load_model(savepath=saved_path)

下面两个图是训练完后直接预测以及加载模型再预测的结果,可以看出模型加载后,计算结果与之前一致。

TensorFlow保存、加载模型参数 | 原理描述及踩坑经验总结

上一篇:Tensorflow模型保存与加载


下一篇:TensorFlow的模型保存与加载