TensorFlow slim(一) slim API使用方法说明

  TF-slim 模块是TensorFLow中比较实用的API之一,是一个用于模型构建、训练、评估复杂模型的轻量化库。 其中引入的比较实用的函数包含arg_scope、model_variables、repeat、stack

  slim 模块是在16年推出的,其主要功能是为了实现"代码瘦身"

  该模块已经成为很常用的模块之一,在github上大部分TensorFLow的代码中都会涉及到它,如果没有涉及到,其网络架构的实现可能会存在很多冗余,代码不够简练,可读性较低。

引言

  首先,来看一下运用slim模块实现LeNet-5网络架构的代码:

 1 def lenet_architecture(self, is_trained=True):
 2     with slim.arg_scope([slim.conv2d], padding="valid",
 3                         weights_initializer=tf.truncated_normal_initializer(stddev=0.01),
 4                         weights_regularizer=slim.l2_regularizer(0.005)):
 5         # 由于Lenet中是32*32的输入,而MNIST是28*28的图片,所以第一层卷积需要使用SAME卷积
 6         net = slim.conv2d(self.input_image, 6, [5, 5], 1, padding="SAME", scope="conv1")  # 28*28*5
 7         net = slim.max_pool2d(net, [2, 2], 2, scope=pool_2)  # 14*14*6
 8         net = slim.conv2d(net, 16, [5, 5], 1, scope=conv3)   # 10*10*16
 9         net = slim.max_pool2d(net, [2, 2], 2, scope=pool_4)  # 5*5*16
10         net = slim.conv2d(net, 120, [1, 1], 1, scope=conv5)  # 通过1*1的方式代替全连接
11         net = slim.flatten(net, scope=flatten)  # 展平
12         net = slim.fully_connected(net, 84, scope=fc6)
13         net = slim.dropout(net, self.dropout, is_training=is_trained, scope=dropout)
14         digits = slim.fully_connected(net, 10, scope=fc7)
15     return digits        

  在上述代码第6-14行,为LeNet网络在处理MNIST手写体识别时的网络实现。可以看出,每一行即为一层网络的实现。 尤其是每一层的卷积操作,并没有按照先生成卷积核,再进行卷积操作,再添加正则化的操作进行实现。 而是很干练,一行直接包含了所有的内容。这都是源于arg_scope函数内允许用户对scope内的操作定义默认参数,从而可以减少很多冗余的操作。

  可以初步的感受到,slim模块可以使模型的构建、训练评估变得更简单。尤其是机器视觉领域的很多模型(LeNet-5, AlexNet, VGG等)。

  闲言少絮不用讲,开始揭开slim神秘的面纱。

slim 模块的基本使用

Slim模块的导入

1 import tensorflow.contrib.slim as slim

  本文使用的环境是Python3.6,TensorFlow 1.12.0

  如果您的Python或者TF版本过高,可能会出现slim.没有联想输入 或者 会报 ModuleNotFound Error: No module named ‘tensorflow.contrib‘的错误。  

使用slim构建模型详解

slim 变量(Variables)

  模型的建立需要生成变量,首先来对比一下TensorFlow原生的变量生成方式和slim变量生成方式的区别

  原生的TensorFlow中创建变量的Variable函数中,需要设置预定义的值或者一个初始化的机制(随机生成之类),其使用如下:

1 W = tf.Variable(tf.truncated_normal([10, 4], 0, 1), trainable=True, 
2                 name="weight", dtype=tf.float32)

TensorFlow slim(一) slim API使用方法说明  

  在slim中创建变量的variable函数中,提供了一系列wrapper函数。直观上看,slim的变量生成函数将参数的设置都扁平化了,而且更加容易理解,例如生成一个变量,名字是什么,大小如何,使用什么方式进行初始化,使用什么方式进行正则化,存放在哪里等等。 除了扁平化的使用方式外,其还添加了一些额外的功能,像正则化、存放的设备等。

1 w = slim.variable(weight, shape=[10, 10, 3, 3], 
2                   initializer=tf.truncated_normal_initializer(stddev=0.1),
3                   regularizer=slim.l2_regularizer(0.5),
4                   device=/CPU:0)

TensorFlow slim(一) slim API使用方法说明

  在slim中,同样也对变量进行了进一步的区分,将变量定义为局部变量模型变量。顾名思义,模型变量是在训练过程中需要训练,进行微调的,并且在模型保存时会保存到.ckpt中,并用于推理过程的变量(Model variables are trained or fine-tuned during learning and are loaded from a checkpoint during evaluation or inference)。而局部变量只是训练过程所使用的一些参数,不需要微调,也不会保存到模型中,当然,推理的过程也不需要使用的变量(诸如迭代次数、学习率等参数)。具体使用时,如下所示:

 1 # Model Variables 模型变量 使用model_variable()
 2 weights = slim.model_variable(weights,
 3                               shape=[10, 10, 3 , 3],
 4                               initializer=tf.truncated_normal_initializer(stddev=0.1),
 5                               regularizer=slim.l2_regularizer(0.05),
 6                               device=/CPU:0)
 7 model_variables = slim.get_model_variables()
 8 
 9 # Regular variables  # 局部变量,使用variable()
10 var = slim.variable(var,
11                        shape=[20, 1],
12                        initializer=tf.zeros_initializer())
13 regular_variables_and_model_variables = slim.get_variables()

slim 层(Layers)

  正如开篇LeNet示例所述,通过TensorFlow基础函数建立一个卷积层必不可少的op包括:

  • 创建当前层卷积核和偏置变量
  • 通过卷积核对输入进行卷积操作
  • 卷积结果添加偏置
  • 对结果添加激活函数

  其每一层的建立将会冗余成如下模样:

1 # conv1
2 with tf.name_scope(conv1) as scope:
3     kernel = tf.Variable(tf.truncated_normal([11, 11, 3, 96], dtype=tf.float32,
4                                          stddev=1e-1), name=weights
5     biases = tf.Variable(tf.constant(0.0, shape=[96], dtype=tf.float32),
6                          trainable=True, name=biases)
7     conv = tf.nn.conv2d(x, kernel, [1, 4, 4, 1], padding=SAME)
8     bias = tf.nn.bias_add(conv, biases)
9     conv1 = tf.nn.relu(bias, name=scope)

其中,3-6行是卷积核和偏置的初始化,7、8、9分别是卷积、偏置、激活函数的操作。对于深度、宽度都比较少的模型网络(诸如LeNet),该操作还可行。但对于模型层数深或者宽度深的模型网络(诸如Inception、ResNet等), 如果采用上述编写方式,书写繁琐,也不便于维护。

  为了避免代码的重复,slim提供了比较高级的Layers op,如下所示,slim版本的卷积操作。当然,该操作需要配合arg_scope()函数进行默认参数的设置,才会发挥其功效。

1 net = slim.conv2d(input, 128, [3, 3], scope=conv1_1)

  slim.arg_scope(), 对指定的函数设置默认参数,当然,如果其中有一两个不符合默认参数的设置,可以在指定函数中使用关键字参数进行修改。将会在slim的作用域中详细进行介绍

1 with slim.arg_scope([slim.conv2d], padding="valid",
2                         weights_initializer=tf.truncated_normal_initializer(stddev=0.01),
3                         weights_regularizer=slim.l2_regularizer(0.005)):

  另外,slim还提供了两个meta-operations:repeat和stack,用于重复进行一些相同的操作。其应用场景为像VGG这种几个卷积操作的堆叠后进行一个池化的模型网络。如下述所示:

1 net = slim.conv2d(net, 256, [3, 3], scope=conv3_1)
2 net = slim.conv2d(net, 256, [3, 3], scope=conv3_2)
3 net = slim.conv2d(net, 256, [3, 3], scope=conv3_3)
4 net = slim.max_pool2d(net, [2, 2], scope=pool2)

其中,包含3个卷积操作。这3个卷积操作可以按照如上的方式进行编写。也可以通过循环的方式进行:

1 for i in range(3):
2   net = slim.conv2d(net, 256, [3, 3], scope=conv3_%d % (i+1))
3 net = slim.max_pool2d(net, [2, 2], scope=pool2)

  还可以使用slim中提供的repeat方法,可以使代码更加简明:

1 net = slim.repeat(net, 3, slim.conv2d, 256, [3, 3], scope=conv3)
2 net = slim.max_pool2d(net, [2, 2], scope=pool2)

  在repeat的过程中,会将scope的名称依次命名为conv3_1,conv3_2,conv3_3。repeat函数允许重复参数相同的操作

  另外,slim中的stack方法允许操作不同参数的重复操作,好比上述卷积操作为卷积核大小、通道数量不一样的卷积操作,或者是多个全连接网络(一般每层神经元节点的个数都是不一样的)。

1 # 全连接操作 之 冗长的方式
2 x = slim.fully_connected(x, 4096, scope=fc_1)
3 x = slim.fully_connected(x, 4096, scope=fc_2)
4 x = slim.fully_connected(x, 1000, scope=fc_3)

  可以看出,全连接操作中神经元节点个数不相同。stack的方式如下所示:

1 x = slim.stack(x, slim.fully_connected, [32, 64, 128], scope=fc)

  将不同的参数写成一个列表即可,stack操作不标注堆叠的次数,因为每次参数不一样。 

  除了全连接操作,实际上stack也可以处理卷积操作,对于下述3*3、 1*1的卷积操作:

1 x = slim.conv2d(x, 32, [3, 3], scope=conv_1)
2 x = slim.conv2d(x, 32, [1, 1], scope=conv_2)
3 x = slim.conv2d(x, 64, [3, 3], scope=conv_3)
4 x = slim.conv2d(x, 64, [1, 1], scope=conv_4)

  由于卷积核的大小和通道数量不尽相同,不能使用repeat操作,但可以通过stack的方式:

1 x = slim.stack(x, slim.conv2d, [(32, [3, 3]), (32, [1, 1]),
2                (64, [3, 3]), (64, [1, 1])], scope=conv)

  将不同的参数以元组的形式存在列表中。

slim作用域(scopes)

  TensorFlow中scope机制的几种类型:

  • name_scope:限制op的作用域
  • variable_scope:变量的作用域

  slim中还新增了arg_scope的scope机制。该机制可以给一个或者多个op指定默认参数

  还用开篇的LeNet来举例:如果没有arg_scope(),LeNet的三个卷积操作的slim层的使用应该是这样:

1 net = slim.conv2d(inputs, 6, [5, 5], 1, padding=SAME,
2                   weights_initializer=tf.truncated_normal_initializer(stddev=0.01),
3                   weights_regularizer=slim.l2_regularizer(0.005), scope=conv1)
4 net = slim.conv2d(net, 16, [5, 5], 1, padding=VALID,
5                   weights_initializer=tf.truncated_normal_initializer(stddev=0.01),
6                   weights_regularizer=slim.l2_regularizer(0.005), scope=conv2)
7 net = slim.conv2d(net, 120, [1, 1], 1, padding=SAME,
8                   weights_initializer=tf.truncated_normal_initializer(stddev=0.01),
9                   weights_regularizer=slim.l2_regularizer(0.005), scope=conv3)

  看起来真的很繁琐,每个slim.conv2d()中有很多一样的参数。但如果给其设置默认参数,使用arg_scope(),代码将会得到简化。

1  with slim.arg_scope([slim.conv2d], padding=SAME,
2                       weights_initializer=tf.truncated_normal_initializer(stddev=0.01)
3                       weights_regularizer=slim.l2_regularizer(0.0005)):
4     net = slim.conv2d(inputs, 64, [11, 11], scope=conv1)
5     net = slim.conv2d(net, 128, [11, 11], padding=VALID, scope=conv2)
6     net = slim.conv2d(net, 256, [11, 11], scope=conv3)

  在使用的时候,就是对各层找共性,共性越多,arg_scope()的使用便可以使代码越简洁。

  但一般而言不同类型的层的共性不多,因此,可以使用嵌套的方式进行制定:

 1 with slim.arg_scope([slim.conv2d, slim.fully_connected],
 2                       activation_fn=tf.nn.relu,
 3                       weights_initializer=tf.truncated_normal_initializer(stddev=0.01),
 4                       weights_regularizer=slim.l2_regularizer(0.0005)):
 5   with slim.arg_scope([slim.conv2d], stride=1, padding=SAME):
 6     net = slim.conv2d(inputs, 64, [11, 11], 4, padding=VALID, scope=conv1)
 7     net = slim.conv2d(net, 256, [5, 5],
 8                       weights_initializer=tf.truncated_normal_initializer(stddev=0.03),
 9                       scope=conv2)
10     net = slim.fully_connected(net, 1000, activation_fn=None, scope=fc)

  在第一层arg_scope()中,对卷积层和全连接层的一些共性参数进行指定, 在第二层arg_scope()中,又对卷积层特有的参数进行指定。

使用slim训练模型

  在模型建立后,模型的训练需要添加损失函数loss function,梯度计算gradient computation

Slim 损失函数Losses

  据官方声明,slim.losses模块将被去除,请使用tf.losses模块,因为二者功能完全一致

  损失函数是教导机器分辨对错的量,也是要进行优化的参数。对于分类问题,通常采用交叉熵,对于回归问题,一般采用MSE/SSE。从下述对比中,可以看出,slim.losses模块和tf.losses模块的使用完全一致:

1 slim.losses.softmax_cross_entropy(predictions, input_label, scope=loss)
2 tf.losses.softmax_cross_entropy(predictions, input_label, scope=loss)

  对于多任务需学习模型中,同一模型会存在多个损失函数,用于衡量不同功能的损失。例如,yolo v3中包含边框坐标的损失、分类的损失和置信度的损失。对于多任务的损失,通常会求取多个损失的和,或者是加权的和。 如下所示:

1 total_loss = classification_loss + sum_of_squares_loss

  slim中也设计了相应函数get_total_loss(),会将通过slim生成的loss进行加和

1 total_loss = slim.losses.get_total_loss(add_regularization_losses=False)

  那如果有一些手动建立的loss,需要与slim建立的loss进行加和,手动建立的loss又该如何添加到slim当中呢?可以使用losses.add_loss()方法:

1 slim.losses.add_loss(my_loss)

  之后,再进行加和的运算:

1 total_loss = slim.losses.get_total()

slim训练优化(Training Loop)

  在tf中,当完成模型、损失的建立之后,接下来将会生成优化器:

1 optimizer = tf.train.GradientDescentOptimizer(lr).minimize(loss)

  slim当中,训练op的功能包含两个操作,包含了:

  • 计算损失;
  • 进行梯度运算

  其使用模式如下所示:

 1 total_loss = slim.losses.get_total_loss()
 2 optimizer = tf.train.GradientDescentOptimizer(learning_rate)
 3 
 4 train_op = slim.learning.create_train_op(total_loss, optimizer)
 5 logdir = ... # Where checkpoints are stored.
 6 
 7 slim.learning.train(   # actually runs training
 8     train_op,
 9     logdir,
10     number_of_steps=1000,
11     save_summaries_secs=300,
12     save_interval_secs=600)
  • 损失
  • 优化器,此时不需要.minimize(loss)
  • 生成train_op , 损失和优化器一起; 个人感觉有些繁琐,不如普通TF的方式。
  • slim.learning.train() # 这个训练的机制倒是挺简洁,不用开session 也不用写循环
    • checkpoint 和 event的保存目录
    • 训练代数
    • 每多10分钟保存一次

 

TensorFlow slim(一) slim API使用方法说明

上一篇:通过ISAPI http协议控制海康摄像头


下一篇:Web Scraping(网页抓取)基本原理 - 白话篇