目录
- 一、文献阅读：You Only Look Once: Unified, Real-Time Object Detection
- 1.1 摘要
- 1.2 背景
- 1.3 论文模型
- 1.4 网络设计
- 1.5 YOLO的局限性
- 1.6 实现代码
- target 7*7*30 值域为0-1
一、文献阅读：You Only Look Once: Unified, Real-Time Object Detection
1.1 摘要
YOLO是一种新的目标检测方法。先前的目标检测工作使用分类器来执行检测。相反，我们将目标检测框定为空间分离的边界框和相关类概率的回归问题。单个神经网络在一次评估中直接从完整图像中预测边界框和类别概率。由于整个检测管道是一个单一的网络，因此可以直接对检测性能进行端到端的优化。
YOLO的统一架构速度极快。我们的基础YOLO模型以每秒45帧的速度实时处理图像。该网络的一个较小的版本，快速YOLO，每秒处理一个惊人的155帧，同时还实现了其他实时探测器的mAP的两倍。与当前最先进的检测系统相比，YOLO的定位误差更大，但在背景上预测误报的可能性更低。最后，YOLO学习对象的非常一般的表示。当从自然图像推广到艺术品等其他领域时，它优于其他检测方法，包括DPM和R - CNN。
1.2 背景
随着计算机视觉技术的不断发展，目标检测作为其中的一个重要分支，已经广泛应用于各个领域，如自动驾驶、智能安防、医疗影像分析等。然而，传统的目标检测方法往往存在着计算量大、速度慢、精度不高等问题，难以满足实际应用中的需求。因此，研究一种快速且准确的对象检测算法具有重要意义。
传统的对象检测方法通常遵循一种分阶段、模块化的处理流程。这一流程主要包括候选区域选择、特征提取和分类器分类三个主要步骤。
首先，候选区域选择阶段的目标是从输入图像中选取可能包含待检测对象的区域。这一步骤可以通过诸如滑动窗口法或者更先进的Selective Search等方法来实现。滑动窗口法通过设定不同大小和比例的窗口，在图像上滑动并提取窗口内的图像块作为候选区域。而Selective Search则基于颜色、纹理、大小、形状等多种特征，采用一种自底向上的策略，合并相似的区域以生成候选对象位置。
接下来，特征提取阶段则是为了从候选区域中提取出能够表示对象特征的信息。这一步骤通常依赖于手工设计的特征提取器，如SIFT、SURF或者HOG等。这些特征提取器能够提取出图像中的关键信息，如边缘、角点、纹理等，并将这些信息编码成特征向量，以便后续的分类器使用。
最后，分类器分类阶段则是利用提取出的特征向量，通过训练好的分类器来判断候选区域是否包含目标对象，以及对象的类别。常用的分类器包括支持向量机（SVM）、随机森林等。分类器会根据训练时学习到的知识，对每一个候选区域进行打分，并根据得分的高低来确定最终的检测结果。
然而，这种传统的对象检测方法存在一些明显的缺点。首先，候选区域选择阶段会产生大量的冗余计算，导致检测速度较慢。其次，手工设计的特征提取器可能无法充分捕获到对象的复杂特征，导致检测精度受限。此外，这种分阶段、模块化的处理流程也使得整个检测系统的优化变得困难。
其次，近年来深度学习技术的快速发展为对象检测提供了新的解决思路。通过构建深度神经网络模型，可以自动学习图像中的特征表示，从而实现对象的自动检测和识别。YOLO算法正是基于这一思路，通过一种统一的模型将对象检测任务转化为回归问题，大大简化了检测流程，提高了检测速度和精度。
最后，虽然YOLO算法在对象检测领域取得了显著成果，但仍存在一些挑战和待解决的问题。例如，对于小目标或遮挡目标的检测精度仍然有待提升；同时，随着应用场景的不断扩展，对于算法的实时性和鲁棒性也提出了更高的要求。因此，进一步研究和改进YOLO算法，以满足实际应用中的需求，是当前研究的重要方向。
1.3 论文模型
我们将目标检测的各个组成部分统一到一个单一的神经网络中。我们的网络使用来自整个图像的特征来预测每个边界框。它同时预测图像中所有类别的所有边界框。这意味着我们的网络对整个图像和图像中的所有对象进行全局推理。YOLO设计可实现端到端训练和实时速度，同时保持高平均精度。
我们的系统首先将输入的图像划分为一个S × S的网格。这样的网格划分方式有助于我们更精确地定位和处理图像中的各个部分。当某个物体的中心落入某个网格单元时，这个网格单元就负责检测该物体。这样的设计可以确保每个物体都能被至少一个网格单元所覆盖，从而实现全面的物体检测。每个网格单元都会预测B个边界框（Bounding Boxes）以及这些边界框的置信度分数。边界框是用来标记物体在图像中位置的矩形框，而置信度分数则反映了模型对边界框内存在物体的确信程度，以及模型对预测边界框准确性的估计。置信度的正式定义是Pr(Object) ∗ IOUtruth pred，其中Pr(Object)表示该网格单元内存在物体的概率，而IOUtruth pred则表示预测边界框与真实边界框（即标注的物体实际位置）之间的交集除以并集（Intersection over Union，IOU）。IOU是一个衡量预测边界框与真实边界框重合程度的指标，值越接近1表示重合度越高，即预测越准确。如果某个网格单元内不存在物体，那么该网格单元预测的所有边界框的置信度分数都应为零。这是因为这些边界框没有正确地标记任何物体，所以它们的置信度应该很低。相反，如果网格单元内存在物体，我们希望预测的边界框能够尽可能准确地覆盖该物体，即预测的边界框与真实边界框之间的IOU值应该尽可能高。此时，置信度分数就等于这个IOU值，反映了模型对预测结果的信心程度。通过这种方式，我们的系统能够实现对图像中物体的精确检测和定位。每个网格单元都负责检测其覆盖区域内的物体，并输出相应的边界框和置信度分数。这些信息可以被后续的处理步骤利用，例如进行物体的分类、跟踪或者场景理解等任务。
每个边界框包含5个预测值：x，y，w，h和置信度。其中，(x, y)坐标表示边界框中心相对于网格单元边界的位置。宽度和高度是相对于整个图像的预测值。最后，置信度预测表示预测框与任何真实框之间的IOU（Intersection over Union，交并比）。每个网格单元还会预测C个条件类别概率，即Pr(Classi|Object)。这些概率取决于网格单元是否包含物体。无论边界框B的数量是多少，我们每个网格单元只预测一组类别概率。在测试时，我们将条件类别概率与单个框的置信度预测相乘，
1.4 网络设计
我们将此模型实现为一个卷积神经网络，并在PASCAL VOC检测数据集上进行评估。网络的初始卷积层从图像中提取特征，而全连接层则预测输出概率和坐标。
这个网络架构的设计灵感来源于GoogLeNet模型，用于图像分类任务。具体来说，该网络包含了24个卷积层，后面接着2个全连接层。与GoogLeNet中使用的inception模块不同，作者在这里简单地使用了1×1的降维层，随后是3×3的卷积层。然而，这个模型在预测边界框时遇到了一些挑战。由于模型是从数据中学习预测边界框的，因此它难以泛化到新的或不寻常的比例或配置的物体上。此外，由于网络架构中存在多个从输入图像进行的下采样层，模型在预测边界框时使用的特征相对较为粗糙。
在训练期间，我们优化以下多部分损失函数：
注意，如果目标存在于该网格单元中（前面讨论的条件类别概率），则损失函数仅惩罚(penalizes)分类错误。如果预测器“负责”实际边界框（即该网格单元中具有最高IOU的预测器），则它也仅惩罚边界框坐标错误。
我们用Pascal VOC 2007和2012的训练集和验证数据集进行了大约 135个epoch 的网络训练。因为我们仅在Pascal VOC 2012上进行测试，所以我们的训练集里包含了Pascal VOC 2007的测试数据。在整个训练过程中，我们使用：batch size=64，momentum=0.9，decay=0.0005。
我们的学习率（learning rate）计划如下：在第一个epoch中，我们将学习率从1 0 − 3 10^{-3}10−3慢慢地提高到 1 0 − 2 10^{-2}10−2。如果从大的学习率开始训练，我们的模型通常会由于不稳定的梯度而发散(diverge)。我们继续以 1 0 − 2 10^{-2}10−2 进行75个周期的训练，然后以 1 0 − 3 10^{-3}10−3 进行30个周期的训练，最后以 1 0 − 4 10^{-4}10−4 进行30个周期的训练。
为避免过拟合，我们使用了Dropout和大量的数据增强。 在第一个连接层之后的dropout层的丢弃率设置为0.5，以防止层之间的相互适应[18]。 对于数据增强(data augmentation)，我们引入高达20％的原始图像大小的随机缩放和平移(random scaling and translations )。我们还在 HSV 色彩空间中以高达 1.5 的因子随机调整图像的曝光度和饱和度。
1.5 YOLO的局限性
由于每个格网单元只能预测两个框，并且只能有一个类，因此YOLO对边界框预测施加了很强的空间约束。这个空间约束限制了我们的模型可以预测的邻近目标的数量。我们的模型难以预测群组中出现的小物体（比如鸟群）。
由于我们的模型学习是从数据中预测边界框，因此它很难泛化到新的、不常见的长宽比或配置的目标。我们的模型也使用相对较粗糙的特征来预测边界框，因为输入图像在我们的架构中历经了多个下采样层(downsampling layers)。
最后，我们的训练基于一个逼近检测性能的损失函数，这个损失函数无差别地处理小边界框与大边界框的误差。大边界框的小误差通常是无关要紧的，但小边界框的小误差对IOU的影响要大得多。我们的主要错误来自于不正确的定位。
1.6 实现代码
import torch
import cv2
import os
import os.path
import random
import numpy as np
from torch.utils.data import DataLoader, Dataset
from torchvision.transforms import ToTensor
from PIL import Image
CLASS_NUM = 20 # 使用其他训练集需要更改
class yoloDataset(Dataset):
image_size = 448 # 输入图片大小
def __init__(self, img_root, list_file, train, transform): # list_file为txt文件 img_root为图片路径
self.root = img_root
self.train = train
self.transform = transform
# 后续要提取txt文件信息，分类后装入以下三个列表
self.fnames = []
self.boxes = []
self.labels = []
self.S = 7 # YOLOV1
self.B = 2 # 相关
self.C = CLASS_NUM # 参数
self.mean = (123, 117, 104) # RGB
file_txt = open(list_file)
lines = file_txt.readlines() # 读取txt文件每一行
for line in lines: # 逐行开始操作
splited = line.strip().split() # 移除首位的换行符号再生成一张列表
self.fnames.append(splited[0]) # 存储图片的名字
num_boxes = (len(splited) - 1) // 5 # 每一幅图片里面有多少个bbox
box = []
label = []
for i in range(num_boxes): # bbox四个角的坐标
x = float(splited[1 + 5 * i])
y = float(splited[2 + 5 * i])
x2 = float(splited[3 + 5 * i])
y2 = float(splited[4 + 5 * i])
c = splited[5 + 5 * i] # 代表物体的类别，即是20种物体里面的哪一种 值域 0-19
box.append([x, y, x2, y2])
label.append(int(c))
self.boxes.append(torch.Tensor(box))
self.labels.append(torch.LongTensor(label))
self.num_samples = len(self.boxes)
def __getitem__(self, idx):
fname = self.fnames[idx]
img = cv2.imread(os.path.join(self.root + fname))
boxes = self.boxes[idx].clone()
labels = self.labels[idx].clone()
if self.train: # 数据增强里面的各种变换用torch自带的transform是做不到的，因为对图片进行旋转、随即裁剪等会造成bbox的坐标也会发生变化，所以需要自己来定义数据增强
img, boxes = self.random_flip(img, boxes)
img, boxes = self.randomScale(img, boxes)
img = self.randomBlur(img)
img = self.RandomBrightness(img)
# img = self.RandomHue(img)
# img = self.RandomSaturation(img)
img, boxes, labels = self.randomShift(img, boxes, labels)
# img, boxes, labels = self.randomCrop(img, boxes, labels)
h, w, _ = img.shape
boxes /= torch.Tensor([w, h, w, h]).expand_as(boxes) # 坐标归一化处理，为了方便训练
img = self.BGR2RGB(img) # because pytorch pretrained model use RGB
img = self.subMean(img, self.mean) # 减去均值
img = cv2.resize(img, (self.image_size, self.image_size)) # 将所有图片都resize到指定大小
target = self.encoder(boxes, labels) # 将图片标签编码到7x7*30的向量
for t in self.transform:
img = t(img)
return img, target
def __len__(self):
return self.num_samples
# def letterbox_image(self, image, size):
# # 对图片进行resize，使图片不失真。在空缺的地方进行padding
# iw, ih = image.size
# scale = min(size / iw, size / ih)
# nw = int(iw * scale)
# nh = int(ih * scale)
#
# image = image.resize((nw, nh), Image.BICUBIC)
# new_image = Image.new('RGB', size, (128, 128, 128))
# new_image.paste(image, ((size - nw) // 2, (size - nh) // 2))
# return new_image
def encoder(self, boxes, labels): # 输入的box为归一化形式(X1,Y1,X2,Y2) , 输出ground truth (7*7)
grid_num = 7
target = torch.zeros((grid_num, grid_num, int(CLASS_NUM + 10))) # 7*7*30
cell_size = 1. / grid_num # 1/7
wh = boxes[:, 2:] - boxes[:, :2] # wh = [w, h] 1*1
# 物体中心坐标集合
cxcy = (boxes[:, 2:] + boxes[:, :2]) / 2 # 归一化含小数的中心坐标
for i in range(cxcy.size()[0]):
cxcy_sample = cxcy[i] # 中心坐标 1*1
ij = (cxcy_sample / cell_size).ceil() - 1 # 左上角坐标 （7*7)为整数
# 第一个框的置信度
target[int(ij[1]), int(ij[0]), 4] = 1
# 第二个框的置信度
target[int(ij[1]), int(ij[0]), 9] = 1
target[int(ij[1]), int(ij[0]), int(labels[i]) + 10] = 1 # 20个类别对应处的概率设置为1
xy = ij * cell_size # 归一化左上坐标 （1*1）
delta_xy = (cxcy_sample - xy) / cell_size # 中心与左上坐标差值 （7*7）
# 坐标w,h代表了预测的bounding box的width、height相对于整幅图像width,height的比例
target[int(ij[1]), int(ij[0]), 2:4] = wh[i] # w1,h1
target[int(ij[1]), int(ij[0]), :2] = delta_xy # x1,y1
# 每一个网格有两个边框
target[int(ij[1]), int(ij[0]), 7:9] = wh[i] # w2,h2
# 由此可得其实返回的中心坐标其实是相对左上角顶点的偏移，因此在进行预测的时候还需要进行解码
target[int(ij[1]), int(ij[0]), 5:7] = delta_xy # [5,7) 表示x2,y2
return target # (xc,yc) = 7*7 (w,h) = 1*1
# 以下方法都是数据增强操作
def BGR2RGB(self, img):
return cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
def BGR2HSV(self, img):
return cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
def HSV2BGR(self, img):
return cv2.cvtColor(img, cv2.COLOR_HSV2BGR)
def RandomBrightness(self, bgr):
if random.random() < 0.5:
hsv = self.BGR2HSV(bgr)
h, s, v = cv2.split(hsv)
adjust = random.choice([0.5, 1.5])
v = v * adjust
v = np.clip(v, 0, 255).astype(hsv.dtype)
hsv = cv2.merge((h, s, v))
bgr = self.HSV2BGR(hsv)
return bgr
def RandomSaturation(self, bgr):
if random.random() < 0.5:
hsv = self.BGR2HSV(bgr)
h, s, v = cv2.split(hsv)
adjust = random.choice([0.5, 1.5])
s = s * adjust
s = np.clip(s, 0, 255).astype(hsv.dtype)
hsv = cv2.merge((h, s, v))
bgr = self.HSV2BGR(hsv)
return bgr
def RandomHue(self, bgr):
if random.random() < 0.5:
hsv = self.BGR2HSV(bgr)
h, s, v = cv2.split(hsv)
adjust = random.choice([0.5, 1.5])
h = h * adjust
h = np.clip(h, 0, 255).astype(hsv.dtype)
hsv = cv2.merge((h, s, v))
bgr = self.HSV2BGR(hsv)
return bgr
def randomBlur(self, bgr):
if random.random() < 0.5:
bgr = cv2.blur(bgr, (5, 5))
return bgr
def randomShift(self, bgr, boxes, labels):
# 平移变换
center = (boxes[:, 2:] + boxes[:, :2]) / 2
if random.random() < 0.5:
height, width, c = bgr.shape
after_shfit_image = np.zeros((height, width, c), dtype=bgr.dtype)
after_shfit_image[:, :, :] = (104, 117, 123) # bgr
shift_x = random.uniform(-width * 0.2, width * 0.2)
shift_y = random.uniform(-height * 0.2, height * 0.2)
# print(bgr.shape,shift_x,shift_y)
# 原图像的平移
if shift_x >= 0 and shift_y >= 0:
after_shfit_image[int(shift_y):,
int(shift_x):,
:] = bgr[:height - int(shift_y),
:width - int(shift_x),
:]
elif shift_x >= 0 and shift_y < 0:
after_shfit_image[:height + int(shift_y),
int(shift_x):,
:] = bgr[-int(shift_y):,
:width - int(shift_x),
:]
elif shift_x < 0 and shift_y >= 0:
after_shfit_image[int(shift_y):