保存和加载多计算图模型

pre-knowledge

• ckpt.meta/index/data文件 以及 checkpoint文件

这个ckpt是我们自己给的前缀赋名

.ckpt文件：是旧版本的输出saver.save(sess)，相当于你的.ckpt-data
“checkpoint”：文件仅用于告知某些TF函数，这是最新的检查点文件。
.ckpt-meta：包含元图，即计算图的结构，没有变量的值（基本上你可以在tensorboard / graph中看到）。
.ckpt-data：包含所有变量的值，没有结构。
.ckpt-index：可能是内部需要的某种索引来正确映射前两个文件，它通常不是必需的

使用tf.train.Saver保存

(1). save= tf.train.Saver() 是用来保存tensorflow训练模型的,默认保存全部参数 【用来指定保存的变量范围 以及 一些设置】 saver.save()用来设置存储地址、多久保存一次 之类的
(2). 用来加载参数,
注:只加载存储在data中的权重和偏置项等需要训练的参数,其他一律不加载,
包括meta文件中的图

注意无论是参数变量还是计算图 都调用save保存

• 只想load计算图

tf.train.import_meta_graph(".meta文件")

多计算图的数据隔离

• tf.global_variables()是各计算图之间隔离的，里面的代码demo也不错的

reference

• 再看看这个博客：tf.train.Saver() 与tf.train.import_meta_graph区别

多进程使用多计算图训练踩坑

• TF hangs when initializing variables in a multi process setting
  里面阐述了为何多进程会hang住，以及处理的两种方法：
  • 修改multiprocessing默认的开启子进程的方式为fork，我已成功尝试（但是需要用py3）

    • 之前我用直接继承Process类的方式去做，失败了。估计也有更改fork方式的API，如果修改了，讲道理也得能成功。
    • mp.set_start_method()要在主模块的if __name__ == '__main__'子句中调用
    • spawn和别的方式的区别

  • 在子进程中再导入tf。这篇blog里面在子进程中导入tf成功了，但是我没有成功
• simple sample codes:

  for cur_index in range(self.NODE_NUM):
      # some preparation
      father_conn, child_conn = Pipe()
      sub_proc = Process(target=createAgent,
                          args=(
                              child_conn,
                              cur_index,
                              ...,
                          ))
      sub_proc.daemon = True  # 退出主进程的时候紫禁城也会退出，防止泄漏
      sub_proc.start()
      # collect father and children conns in order for afterwards operations
      sub_proces.append(sub_proc)
      self.par_conns[cur_index] = father_conn
  

  完整版见仓库 fdb0cc2 版本