#训练过程的可视化 ，TensorBoard的应用

#导入模块并下载数据集

import tensorflow as tf

from tensorflow.examples.tutorials.mnist import input_data

#设置超参数

max_step=1000

learning_rate=0.001

dropout=0.9

# 用logdir明确标明日志文件储存路径

#训练过程中的数据储存在E:\\MNIST_data\\目录中，通过这个路径指定--log_dir

data_dir='E:\\MNIST_data\\'

log_dir='E:\\mnist_with_summaries\\'

mnist=input_data.read_data_sets(data_dir,one_hot=True)

sess=tf.InteractiveSession()

#本句的含义是使图可视化，sess.graph是对图的定义

#使用以上指定的路径创建摘要的文件写入符(FileWrite)

file_write=tf.summary.FileWriter(log_dir,sess.graph)

def variable_summaries(var, name):

    """对每一个张量添加多个摘要描述"""

    with tf.name_scope('summaries'):

        tf.summary.histogram(name, var)

        mean = tf.reduce_mean(var)

        #均值

        tf.summary.scalar('mean/' + name, mean)

        stddev = tf.sqrt(tf.reduce_mean(tf.square(var - mean)))

        #标准差

        tf.summary.scalar('stddev/' + name, stddev)

        # 最大值

        tf.summary.scalar('max',tf.reduce_max(var))

        # 最小值

        tf.summary.scalar('min', tf.reduce_min(var))

        tf.summary.histogram('histogram', var)

def nn_layer(input_tensor, input_dim, output_dim, layer_name, act=tf.nn.relu):

    with tf.name_scope(layer_name):

        """为确保计算图中各个层的分组，给每一层添加一个name_scope"""

        with tf.name_scope('weights'):

            weights = tf.Variable(tf.truncated_normal([input_dim, output_dim], stddev=0.1))

            variable_summaries(weights, layer_name + '/weights')

        with tf.name_scope('biases'):

            biases = tf.Variable(tf.constant(0.0, shape=[output_dim]))

            variable_summaries(biases, layer_name + '/biases')

        with tf.name_scope('Wx_plus_b'):

            preactivate = tf.matmul(input_tensor, weights) + biases

            # 激活前的直方图

            tf.summary.histogram(layer_name + '/pre_activations', preactivate)

        activations = act(preactivate, name='activation')

        # 记录神经网络节点输出在经过激活函数之后的分布。

        # 激活后的直方图

        tf.summary.histogram(layer_name + '/activations', activations)

        return activations

#构建回归模型，输入原始真实值（group truth）,采用sotfmax函数拟合，并定义损失函数和优化器

#定义回归模型

x = tf.placeholder(tf.float32, [None, 784])

activations = nn_layer(x,784,10,"x")

#训练模型

#使用InteractiveSession()创建交互式上下文tf会话，这里的会话是默认

#在tf.Tensor.eval 和tf.Operation.run中都可以使用该会话来运行操作(OP)

sess = tf.InteractiveSession()

#注意：之前的版本中使用的是 tf.initialize_all_variables 作为初始化全局变量，已被弃用，更新后的采用一下命令

tf.global_variables_initializer().run()

for _ in range(1000):

    batch_xs, batch_ys = mnist.train.next_batch(100)

    sess.run(activations, feed_dict={x: batch_xs})

#运行tensorboard命令，打开浏览器,查看模型训练过程中的可视化结果，

#在终端输入下命令：

#tensorboard --logdir=E:\\mnist_with_summaries\\