caffe源码阅读(2)-Layer

神经网络是由层组成的,深度神经网络就是层数多了。layer对应神经网络的层。数据以Blob的形式,在不同的layer之间流动。caffe定义的神经网络已protobuf形式定义。例如:

layer {
name: "conv1"
type: "Convolution"
bottom: "data"
top: "conv1"
......
}

就是定义了一个卷积层,bottom是其前一层,而top是其后一层。前向传播计算过程就是获取bottom的输出(Blob),当做输入,通过计算(Forward),输出Blob给下一层top;每一层还有一个反向传播Backforward。不同的层实现的前向传播和反向传播不相同,但是它们都有同一个基类class Layer

成员变量

先看一下Layer的成员变量,这些成员变量都是层的基本变量,不同的层都需要这些变量,这些成员变量访问权限为protected

LayerParameter layer_param_;
/** The phase: TRAIN or TEST */
Phase phase_;
/** The vector that stores the learnable parameters as a set of blobs. */
vector<shared_ptr<Blob<Dtype> > > blobs_;
/** Vector indicating whether to compute the diff of each param blob. */
vector<bool> param_propagate_down_; /** The vector that indicates whether each top blob has a non-zero weight in
* the objective function. */
vector<Dtype> loss_;

layer_param_类型为LayerParameter,具体定义在caffe_root/src/caffe/protocaffe.proto中,描述了层的一些信息,例如是测试还是训练,其bottom和top等。

phase_是枚举变量,指明这一层是训练还是测试。

blobs_是容器,其容器内元素类型为指向Blob的智能指针,存储内容为权重w和偏置b,即这一层需要训练的参数。

param_propagate_down_是保存bool类型的容易,即是否要计算Blob的梯度diff

loss_是容器,标志着top blob是否有非零权重

还有2个private访问权限的变量:

bool is_shared_;//标记layer是否被nets共享

/** The mutex for sequential forward if this layer is shared */
shared_ptr<boost::mutex> forward_mutex_;//如果layer被共享,使用前要加锁

layer可以被网络共享,如果共享,使用layer时,需要给layer加锁。

初始化过程

layer构造函数需要LayerParameter类型参数,这个参数往往定义在网络的protobuf中。通过构造函数来初始化,给blobs_分配空间,随后从Layerparameter中填充分配的内存。

    explicit Layer(const LayerParameter& param)
: layer_param_(param), is_shared_(false) {
// Set phase and copy blobs (if there are any).
phase_ = param.phase();
if (layer_param_.blobs_size() > 0) {
blobs_.resize(layer_param_.blobs_size());
for (int i = 0; i < layer_param_.blobs_size(); ++i) {
blobs_[i].reset(new Blob<Dtype>());
blobs_[i]->FromProto(layer_param_.blobs(i));
}
}
}

之后调用SetUp函数,这个函数会初始化互斥量,检查输入输出合法性。调用LayerSetUp设置详细参数,Reshape调整Blob结构,这两个虚函数,不同的层实现不同。最后来设置top blobs的loss function的权重

  inline void SetLossWeights(const vector<Blob<Dtype>*>& top) {
const int num_loss_weights = layer_param_.loss_weight_size();//在protobuf中获取权重个数
if (num_loss_weights) {
CHECK_EQ(top.size(), num_loss_weights) << "loss_weight must be "//检查权重个数是否匹配
"unspecified or specified once per top blob.";
for (int top_id = 0; top_id < top.size(); ++top_id) {
const Dtype loss_weight = layer_param_.loss_weight(top_id);//从protobuf中获取对应权重
if (loss_weight == Dtype(0)) { continue; }//权重为零则不赋值
this->set_loss(top_id, loss_weight);//设置权重
const int count = top[top_id]->count();
Dtype* loss_multiplier = top[top_id]->mutable_cpu_diff();//得到diff指针
caffe_set(count, loss_weight, loss_multiplier);//给diff指针赋值
}
}
}

前向传播和反向传播

Layer最重要的功能就是前向传播和反向传播。前向传播,是数据沿着网络向前流,反向传播是梯度(误差)反方向往回流,用来更新权重和偏置。对应的函数为Forward何Backward,再详细一点,这两个函数还应该有对应的CPU版本和GPU版本。

不同类型的Layer,前向和反向传播具体实现不同,在Layer层,这是两个纯虚函数。

上一篇:MAC MAMP 中安装配置使用 ThinkPHP


下一篇:MySQL 数据库备份种类以及常用备份工具汇总