【YOLO】深度学习-物体检测-YOLO系列（网易云课程笔记）

2024-02-09 21:32:46

第一章 YOLO系列概述

1.深度学习经典检测方法

(1) tow-stage(两阶段)：Faster-rcnn Mask-rcnn系列：增加了区域建议网络（RPN），即预选框
特点

速度通常较慢（5FPS），但是效果通常不错
非常实用的通用检测框架MaskRcnn

(2) one-stage(单阶段)：YOLO系列
特点

最核心的优势：速度非常快，适合实时检测
检测效果比较一般

回归任务：
首先，输入一张图片，经过一个CNN，提取出一个高维的特征，最后面一层不再接softmax进行分类，而是预测出4个坐标值，由[x,y,w,h]组成，那么如何来计算这四个值呢？
对于每一张图片，我们有一个grounding truth，grounding truth就是给定的框的实际数据，我们要做的就是使神经网络预测出来的框不断地拟合给定的输入，即不断接近真正的框。我们用L2欧式距离计算差异值，预测出来的框和grounding truth越接近，loss值越小，利用SGD对CNN的参数不断调节，让loss达到收敛的预期效果。这一过程就可以称之为回归过程。
https://blog.csdn.net/weixin_44987948/article/details/109165215

2.指标分析

1）mAP指标：综合衡量检测效果
2）IOU：交集和并集的比值
3）准确率：TP/(TP+FP)
4）召回率：TP/(TP+FN)

第二章 YOLOv1

1. 核心思想

将输入图像划分为SxS的网格，每个网格的中心点产生两种候选框，对置信度高的中心点（或者设置一定的阈值）对应的两个候选框进行筛选（选择IOU大的），进行微调，得到其的（x,y,w,h）。

2. 网络架构

最终输出为：14701=77*30

3. 损失函数

理解算法主要关注以下部分：
网络架构，最终输出值（全连层），以及损失函数怎么定义。

3.1 位置误差（x,y,w,h）

预测位置与真实位置之间的差值，损失函数越小越好
为什么w,h添加根号？（使损失函数对较小物体比较敏感，但是在v1版本没有根本解决这个问题）

3.2 置信度误差

基于置信度计算当前网格的候选框是背景还是前景

3.3 分类误差

预测该类别的概率和真实该类别的概率之差（交叉熵）

3.4 NMS非极大抑制

主要针对同一类别的重叠检测框
先按置信度进行排序（从大到小）
只取最大值（存在缺陷：最大的置信度不一定是检测效果最佳的，或者说IOU最大的）

3.5 YOLOv1存在问题

每个Cell只预测一个类别，重合在一起的物体难以检测
小物体难以检测（两种候选框主要针对检测较大的物体，候选框的长宽比过于单一）
多标签难以检测（同一物体映射多个标签）

第三章 YOLOv2

1. YOLOv2-Batch Normalization

什么是Dropout：主要运用在全连接层，杀死一部分的神经元，防止网络过于拟合
什么是Batch Normalization：对每层卷积层进行归一化

（1）V2版本舍弃Dropout，卷积后全部加入Batch Normalization，V2不再有全连接层
（2）网络的每一层的输入都做了归一化，收敛相对更容易
（3）经过Batch Normalization处理后的网络会提升2%的mAP
（4）从现在的角度看，Batch Normalization已经成为网络必备处理

2. YOLOv2-更大的分辨率

（1）V1训练时用224224，测试时用448448
（2）可能导致水土不服，V2训练时额外又进行了10次448*448的微调
（3）使用高分辨率分类器后，YOLOv2的mAP提高了约4%

3. YOLOv2（DarkNet19）-网络结构

（1）DarkNet，实际输入为416*416（必须被32整除后最好为奇数）
（2）没有FC层，全部为卷积层，5次降采样（2^5=32），（13*13）
（3）1*1卷积节省了很多参数

4. YOLOv2聚类提取先验框（anchor）

（1）faster-rcnn系列选择的先验比例都是常规的，但是不一定完全适合数据集（9种先验比例，3种尺寸大小，3种比例（1:1, 1:2, 2:1））
（2）K-means聚类中的距离d(box,centroids) = 1-IOU(box,centroids)（距离不是采取欧氏距离，而是利用1-IOU作为距离判断）

利用聚类中心点的w和h作为先验框尺寸

5. YOLOv2-Anchor Box

（1）通过引入anchor boxes，使得预测的box数量更多（1313n）
（2）跟faster-rcnn系列不同的是先验框并不是直接按照长宽比固定比给定

6. YOLOv2-Directed Location Prediction（定向位置预测）

（1）bbox：中心为（xp,yp）；宽和高为（wp,hp）,先验框加上预测的偏移量，则
（2）tx=1，则将bbox在x轴向右移动wp；tx=-1则将其向左移动wp
（3）这样会导致收敛问题，模型不稳定顶，尤其是刚开始进行训练的时候
（4）V2中并没有直接使用偏移量，而是选择相对grid cell 的偏移量
计算公式为：
-将偏移量归一化，使得偏移不超过当前预测网格范围（利用sigmoid函数进行归一化），再加上相对位置坐标。

7. YOLOv2-Fine-Grained Features

（1）最后一层时感受野太小了，小目标可能丢失了，需要融合之前的特征

8. YOLOv2-Multi-Scale

（1）都是卷积操作无法限制，一定iterations之后改变输入图片大小
最小的图像尺寸为320*320
最大的图像尺寸为608*608

感受野的认识

1. 感受野

概述来说就是最后一个特征图上的一个点能看到原始图像多大区域（可以理解为对原始图像特征的一个浓缩）
感受野有什么用？怎么把感受野融入到物体检测任务中去？
越大的感受野越能考虑图像的全局信息
为什么非要堆叠多个小卷积，而不是直接用一个大卷积实现感受野的扩充呢？（为什么当前的网络卷据一般都是用尺寸较小的卷积核）
很明显，堆叠小的卷积核所需的参数更少一些，并且卷积过程越多，特征提取也会越细致，加入的非线性变换也随着增多，还不会增大权重参数个数，这就是VGG网络的基本出发点，用小的卷积核来完成特征提取操作，并且每个卷积操作后面相应的跟着一个BN（Batch Normalization）。

第四章 YOLOv3（DarkNet53）

这张图讲道理真的过分了！！！我不是针对谁，在座的各位都是。。。。

（1）终于到V3了，最大的改进就是网络结构，使其更适合最小目标检测
（2）特征做的更加细致，融入多持续特征图信息来预测不同规格物体
（3）先验框更丰富了，3种scale，每种3个规格，一共9种
（4）softmax改进，预测多标签任务

1. 多scale

（1）为了能检测到不同大小的物体，设计了3个scale

2. scale变换经典方法

（1）左图：图像金字塔（速度慢）；（2）右图：单一的输入

-（3）左图：对不同的特征图分别利用；（4）右图：不同的特征图上采样后，再融合后进行预测（YOLOv3核心思想）；

3. 残差连接-为了更好的特征

（1）从今天的角度来看，基本所有网络架构都用上了残差连接的方法
（2）V3中也用来resnet的思想，堆叠更多的层来进行特征提取

**理解残差连接：**至少不比原来差

4. 核心网络架构

（1）没有池化和全连接层，全部卷积
（2）下采样通过stride为2来实现
（3）3种scale，更多先验框
（4）基本上当下经典算法全部融入了

13133（4+1+80）*

5. 先验框设计

YOLOv2中选了5个，这会更多了，一共9个
1313特征图上：（116x90）;（156198)）；（373x326）
1313特征图上：（30x61）;（6245)）；（59x119）
1313特征图上：（10x13）;（1630)）；（33x23）

6. softmax层替代

（1）物体检测任务中可能一个物体有多个标签
（2）logistic激活函数来完成，这样就能预测每一个类别是/不是

第五章 YOLOv4

1. 整体介绍（Optimal Speed and Accuracy of Object Detection）

（1）虽然作者换了，但是精髓没有变
（2）如果CV界有劳模，一定非他莫属（集百家之长）
（3）整体看还是那个味，细还是他细
（4）江湖中最高的武功：嫁衣神功

2. V4的贡献

（1）单GPU就能训练的非常好，接下来很多小模块都是从这个出发点
（2）两大核心方法，从数据层面和网络设计层面来进行改善
（3）消融实验，感觉能做的都给他做了，这工作量不轻
（4）全部实验都是单GPU完成的，不用担心设备问题
计算机视觉的框架主要包括以下组成部分：
初始特征提取------>特征融合--------->头部（分类还是回归）