R-CNN学习笔记

step1:总览

• 步骤:
  1. 输入图片
  2. 先挑选大约2000个感兴趣区域(ROI)使用select search方法：【在输入的图像中寻找blobby regions(可能相同纹理,颜色等)】{区域选择算法是固定算法,不需要学习}
  3. 将每块区域变形为同一个大小，送入卷积神经网络计算特征
  4. 送入SVM分类器进行分类

step2详细描述

1.select search算法

• 该算法通过图像中的纹理，颜色等特征进行区域划分，算法如下
  

2.将图片输入神经网络前处理

• 由于本文作者是使用alexNet，该网络需要输入固定的大小
• 所以需要对图片进行
  1. 裁剪
  2. 变形
• 本文将图片裁剪变形为227*227的大小

3.将图片送入神经网络提取特征

1. RCNN先再ImageNet上进行预训练(因为作者带标签的数据不多)
2. 再在自己的网络上进行微调

• 注意:作者使用和ImageNet上相同的架构,只在左后进全连接层的分成1000类(imagenet上有1000类)改成自己的N+1(N个类别加1个背景)
• 该神经网络有5个卷积层2个全连接层,具体为

# Building 'AlexNet'
def create_alexnet(num_classes):
    network = input_data(shape=[None, config.IMAGE_SIZE, config.IMAGE_SIZE, 3]) # 224*224*3
    network = conv_2d(network, 96, 11, strides=4, activation='relu') 
    network = max_pool_2d(network, 3, strides=2)
    network = local_response_normalization(network)
    network = conv_2d(network, 256, 5, activation='relu')
    network = max_pool_2d(network, 3, strides=2)
    network = local_response_normalization(network)
    network = conv_2d(network, 384, 3, activation='relu')
    network = conv_2d(network, 384, 3, activation='relu')
    network = conv_2d(network, 256, 3, activation='relu')
    network = max_pool_2d(network, 3, strides=2)
    network = local_response_normalization(network)
    network = fully_connected(network, 4096, activation='tanh')
    network = dropout(network, 0.5)
    network = fully_connected(network, 4096, activation='tanh')
    network = dropout(network, 0.5)
    network = fully_connected(network, num_classes, activation='softmax')
    network = regression(network, optimizer='momentum',
                        loss='categorical_crossentropy',
                        learning_rate=0.001)
    return network

• 训练阶段详细描述

  1. 有监督预训练 作者使用caffe框架利用ILSVRC 2012的数据集（应该就是imagenet吧）对网络模型进行了训练，使网络模型中的参数都是经过训练过的参数，而不是刚开始那样随机初始化的参数

  2. 特定领域的fine-tuning 为了适应不同场合的识别需要，如VOC，对网络继续使用从VOC图片集上对region proposals归一化后的图片进行训练。网络只需要将最后的1000类的分类层换成21类的分类层（20个VOC中的类别和1个背景类），其他都不需要变。为了保证训练只是对网络的微调而不是大幅度的变化，网络的学习率只设置成了0.001。计算每个region proposal与人工标注的框的IoU，IoU重叠阈值设为0.5，大于这个阈值的作为正样本，其他的作为负样本，然后在训练的每一次迭代中都使用32个正样本（包括所有类别）和96个背景样本组成的128张图片的batch进行训练（这么做的主要原因还是正样本图片太少了）

  3. 特定类别的分类器 对每个类都训练一个线性的SVM分类器，训练SVM需要正负样本文件，可以想象得到，刚好包含某一类物体的region proposal应该是正样本，完全不包含的region proposal应该是负样本，但是对于部分包含某一类物体的region proposal该如何训练呢，作者同样是使用IoU阈值的方法，这次的阈值为0.3，计算每一个region proposal与标准框的IoU，大于这个阈值的作为正样本，小于的作为负样本。

4.最后放进SVM分类器进行分类

5.在分类的时候还会对框进行regression微调

• 这里微调采用的时非极大值抑制:
• 详细描述:
  1. 对于每一个类别，使用为这一类训练的SVM分类器对提取的特征向量进行打分，得到测试图片中对于所有region proposals的对于这一类的分数，再使用贪心的非极大值抑制去除相交的多余的框。
  2. 非极大值抑制（NMS）先计算出每一个bounding box的面积，然后根据score进行排序，把score最大的bounding box作为选定的框，计算其余bounding box与当前最大score与box的IoU，去除IoU大于设定的阈值的bounding box。

6.RCNN与它之前方法的比较

7.RCNN训练及测试总览图

step3：在读论文中时的疑问?

• 问题1：矫正是否在感兴趣区域？
  答：不一定，假设感兴趣区域是围绕人的但是没包括人的头部。网络会推断人应该有头，所以网络应该把边界提高一点
• 问题2:经过select search后图片进去后，那框应该怎么画?
  答:select search回一同返回图片和labels,该label包含了x,y,w,h(中心点坐标x,y以及图片的宽和高w,h)
• 问题3:图片变形后会影响网络提取特征吗?
  答:可能回影响？后续在看后面论文观察
• 问题4：图片在测试阶段速度太慢怎么解决?
  答:后续看论文

step4:引用及参考文献

1. paper:

• https://www.computer.org/csdl/proceedings/cvpr/2014/5118/00/5118a580-abs.html

2. 代码参考:

• https://github.com/yangxue0827/RCNN

3. 博客参考:

• http://blog.csdn.net/u011534057/article/details/51218218
• http://blog.csdn.net/u011534057/article/details/51218250