caffe之(四)全连接层

在caffe中,网络的结构由prototxt文件中给出,由一些列的Layer(层)组成,常用的层如:数据加载层、卷积操作层、pooling层、非线性变换层、内积运算层、归一化层、损失计算层等;本篇主要介绍全连接层

该层是对元素进行wise to wise的运算

1. 全连接层总述

下面首先给出全连接层的结构设置的一个小例子(定义在.prototxt文件中)

layer {
name: "fc6"
type: "InnerProduct"
bottom: "pool5"
top: "fc6"
param {
lr_mult:
decay_mult:
}
param {
lr_mult:
decay_mult:
}
inner_product_param {
num_output:
weight_filler {
type: "gaussian"
std: 0.005
}
bias_filler {
type: "constant"
value: 0.1
}
}
}

2. 全连接层相关参数

接下来,分别对全连接层的相关参数进行说明

(根据全连接层层的定义,它的学习参数应该为权值和bias,其他的相关参数都为hyper-paramers,在定义模型时是要给出的)

注:全链接层其实也是一种卷积层,只不过卷积核大小与输入图像大小一致

lr_mult:学习率系数

放置在param{}中

该系数用来控制学习率,在进行训练过程中,该层参数以该系数乘solver.prototxt配置文件中的base_lr的值为学习率

即学习率=lr_mult*base_lr

如果该层在结构配置文件中有两个lr_mult,则第一个表示权值学习率系数,第二个表示偏执项的学习率系数(一般情况下,偏执项的学习率系数是权值学习率系数的两倍)

inner_product_param:内积层的其他参数

放置在inner_product_param{}中

该部分对内积层的其他参数进行设置,有些参数为必须设置,有些参数为可选(因为可以直接使用默认值)

  • 必须设置的参数

  1. num_output:filter个数

  • 其他可选的设置参数

    1. weight_filter:权值初始化方法,使用方法如下
      weight_filter{
            type:"xavier"  //这里的xavier是一冲初始化算法,也可以是“gaussian”;默认值为“constant”,即全部为0
      }

    2. bias_filter:偏执项初始化方法
      bias_filter{
            type:"xavier"  //这里的xavier是一冲初始化算法,也可以是“gaussian”;默认值为“constant”,即全部为0
      }
    3. bias_term:是否使用偏执项,默认值为Ture
 参考:caffe tutorial
上一篇:How to delete VSTS Project


下一篇:Lucene 中自定义排序的实现