论文主要信息
- 标题:YOLOX: Exceeding YOLO Series in 2021
- 作者:Zheng Ge,Songtao Liu,Feng Wang,*g Li,Jian Sun
- 机构:Megvii Technology
- 链接:https://arxiv.org/abs/2107.08430
- 代码:https://github.com/Megvii-BaseDetection/YOLOX
文章概要
- 集成decoupled head、SimOTA、anchor-free、NMS-free等strategy
- 比赛第1名:仅使用YOLOX-L,获得CVPR2021的Workshop on Autonomous Driving的第1名,详见原paper
- 部署代码:ONNX、TensorRT、NCNN和Openvino
背景
-
YOLOv5性能最优:48.2% AP on COCO at 13.7 ms
-
过去两年的major advance
方向 方法 anchor-free detectors FCOS、CenterNet、CornerNet advanced label assignment strategies Freeanchor、ATSS、PAA、Autoassign、IQDet、OTA end-to-end (NMS-free) detectors DETR、End-to-end object detection with fully convolutional network、PSS -
问题:过去两年的major advance未被集成到YOLO系列,YOLOv4和v5仍然是anchor-based、训练时仍使用hand-crafted assigning rules
-
insight:对于anchor-based pipeline,YOLOv4和v5可能有点over-optimized
-
baseline:YOLOv3-SPP(Darknet53)
YOLOX-DarkNet53
实现细节
-
consistent settings:从baseline到final model的训练设置mostly一致
-
epoch:300个epoch,5个epoch的warm up
-
数据集:COCO train2017
-
优化器:SGD,momentum 0.9
-
weight decay:0.0005
-
学习率:lr×BatchSize/64(linear scaling),lr=0.01,cosine lr schedule
-
batch size:128 for 8-GPU
-
input size:448 to 832 with 32 strides
-
inference setting:FP16-precision,batch=1,single Tesla V100
YOLOv3 baseline
- baseline:YOLOv3-SPP
- 改动:添加EMA weights updating、cosine lr schedule、IoU loss、IoU-aware branch(这些trick和YOLOX带来的improvement是orthogonal的,因此把这些trick放在baseline中)
- 数据增强:使用RandomHorizontalFlip、ColorJitter、multi-scale,放弃RandomResizedCrop(因为它和mosaic augmentation有些重合)
- 性能:COCO val上AP达到38.5%,详见消融实验
笔者认为,在选baseline的时候,应该具备至少两点:性能还不错,用的trick还少。像常用的RetinaNet,基本就是随手造的一个普通模型,纯为focal loss服务的,几乎没加太多trick,这样的工作就很适合用来验证我们自己改进出来的东西是否好用。
有的时候trick用得太多,自己的东西加上去不但不涨点,还掉点。但要注意,这个时候不一定是你的东西有问题,很可能是和哪一个trick冲突了。
——引自《目标检测》-第24章-YOLO系列的又一集大成者:YOLOX! - 知乎 (zhihu.com)
这篇知乎文章不错,建议再次阅读。
Decoupled head
- 问题:在OD中,classification任务和regression任务之间存在conflict
实验
以下2个实验说明,coupled head会损害性能:
- 使用decoupled head替换coupled head会提高收敛速度,如下图(图3)所示
- decoupled head对end-to-end版本的YOLO很重要,如下表(表1)所示。如果使用coupled head,从YOLO转为End-to-end YOLO后AP下降4.2,而如果使用decoupled head则AP只下降0.8
思路
YOLO在FPN自顶向下路径上的3个level(P5、P4、P3,通道数分别为1024、512、256)上进行detection
- coupled head:通过卷积直接得到最终的1个输出,形状为
[H, W, n_anchor×(C+4+1) ]
,其中cls(预测是C个类别中的哪一个类)占用C个通道、reg(坐标)占用4个通道、obj(区分是前景背景)占用1个通道。 -
decoupled head:先用1个1×1卷积层把通道数减少到256,然后用2个并行分支(每个分支包括2个3×3卷积层)分别进行regression和classification,并在regression分支上添加一个IoU分支。3个分支(cls、reg、IoU)输出的形状分别为
[H,W,C]
、[H,W,4]
、[H,W,1]
cls分支只计算正样本分类loss。简而言之cls用于分类但不用于划分正负样本,正负样本交给obj branch做了。另外使用SimOTA之后,FCOS样本匹配阶段的FPN分层就被取消了,匹配(包括分层)由SimOTA自动完成
————《目标检测》-第24章-YOLO系列的又一集大成者:YOLOX! - 知乎 (zhihu.com)一文中paper原作者的评论
story
我们一开始并没有计划对检测头进行解耦,而是在将 YOLOX 推进到“端到端( 无需NMS )”时发现,不论调整损失权重还是控制梯度回传,End2end 的 YOLOX 始终比标准的 YOLOX 低 4~5 个点( 如 Table1 ),这与我们在 DeFCN 里获得的认知不符。偶然间我们把原始的 YOLO Head 换成 decoupled head,发现这里的差距又显著缩小了,这样的现象说明当前 YOLO Head 的表达能力可能有所欠缺。于是我们将 decoupled head 应用到了非 End2End YOLO 上,结果就如 Fig.3 的所示:不仅在峰值的性能有所提升,收敛速度也明显加快。结合之前 End2end 的实验,这两个现象充分说明 YOLO 系列一直以来使用的检测头可能是不合理的。
————如何评价旷视开源的YOLOX,效果超过YOLOv5? - 知乎 (zhihu.com)中paper原作者的回答
Strong data augmentation
- 设置:使用Mosaic(ultralytics-YOLOv3提出)和MixUp,在最后15个epoch停止
- 发现:在使用strong data augmentation之后,作者发现ImageNet预训练不再有益,因此之后的model都是train from scratch。(如何理解“之后”一词?见表2,可知作者是一个个迭代增加模块或trick的)
- 实验:见消融实验
Anchor-free
- anchor机制的问题
- 聚类:在训练前需要通过聚类生成anchor,这些anchor是domain-specific and less generalized
- complexity:增加了detection head的complexity;每张image中prediction的数量也增加了,而在设备间(比如从NPU到CPU)移动大量prediction的耗时可能会是个瓶颈
- anchor-free的优点:减少了需要heuristic tuning和Anchor Clustering 、Grid Sensitive等trick的参数的数量,使得decoder的training和decoding相对更简单
-
anchor-free YOLO:
- location:每个location只预测1个box并直接预测4个值(相对于网格左上角的2个offset、box的高度和宽度)
- 正样本:将每个object的center location作为正样本
- scale range:按照FCOS那样,预定义1个scale range,根据每个object的size将每个object分配到对应的FPN level
- 实验:见消融实验
multi positives
- 问题:对于每个object,如果只将其center location视为正样本,那就只有1个正样本而忽略了其它高质量的prediction。
- 潜力:对这些高质量prediction进行优化,可能带来beneficial gradient,这可能会缓解training过程中正/负采样的极端不平衡
- center sampling:如FSOS的center sampling,本文将每个object的center region(3×3)中的所有location作为正样本
- 实验:见消融实验
SimOTA
-
label assignment应满足的4点
- loss/quality aware
- center prior
- 每个GT的positive anchor的数量应该是动态的(简化为dynamic top-k)。注:“anchor”在anchor-free detector中指“anchor point”,在YOLO中指“grid”
- global view
-
OTA:
- 作者:该方法之前就由旷视提出
- 思路:OTA从global视角分析label assignment并将其formulate为1个Optimal Transport (OT)问题
- 效果:SOTA
-
Sinkhorn-Knopp:使用Sinkhorn-Knopp算法解决OT问题会增加25%的训练时长,这对于300个epoch来说非常expensive。因此将其简化为dynamic top-k策略,命名为SlimOTA
-
SlimOTA:
- pair-wise matching degree:首先计算pair-wise matching degree(通过每个prediction-GT pair的cost或quality来表征),SlimOTA中GT \(g_i\)和prediction \(p_j\)之间的cost \(c_{ij}\)如上所示
- 对于GT \(g_i\),在1个固定的center region中选择cost最小的top-k predictions作为positive sample。注:对于每个GT,k的值是不同的,详见OTA中的Dynamic k Estimation
- 最后,这些positive prediction对应的grid被指定为positives,其余grid被指定为negatives
-
实验:见消融实验
End-to-end(NMS-free) YOLO
- end-to-end:按照PSS,添加了2个额外的卷积层、one-to-one label assignment和stop gradient,这使得detector变成end-to-end
- optional module:这稍微降低了preformance和inference speed,因此并不将其纳入本文的final module,而是将其作为一个optional module
- 实验:见消融实验
消融实验
- decoupled head稍微增加了模型size
- 除了NMS-free,其它strategy都有效涨点并且没有成本/成本很小
性能对比
除了darknet53,YOLOX在其它不同size的backbone上同样实现了improvement
这张图中不同方法的软硬件差异是somewhat controlled
YOLOX-L
- backbone:采用YOLOv5的backbone以进行对比,包括modified CSPNet、SiLU activation、the PAN head
- scaling rule:按照YOLOv5的scale rule,得到YOLOX-S、YOLOX-M、YOLOX-L和YOLOX-X
- 性能:AP提高1%到3%,时间稍稍增加(因为decoupled head)
YOLOX-Tiny & YOLOX-Nano
- YOLOX-Tiny:
- 思路:通过shrink模型而得到(没说怎么shrink的)
- 性能:AP提高9%,而模型size差不多
- YOLOX-Nano:
- 思路:采用depth wise convolution
- 性能:模型size更小,但AP却高出1.8%
Model size V.S. Data augmentation
-
本文的mixup:mixup with scale jittering
- heavier:本文的mixup实现比原版heavier
- 思路:受Copypaste启发,本文在mixup两张图片之前会按随机比例抖动2个图像
- 效果:Copypaste需要instance mask annotation,而mixup不需要,但两者的AP差不多
- 作用:当没有instance mask annotation时,mixup with scale jittering可以作为Copypaste的替代品
-
不同size的模型适用的augmentation不同
- large model:适合增强augmentation
- YOLOX-L:应用MixUp可以将AP提高0.9%
- small model:适合减少或弱化augmentation
- YOLOX-Nano:弱化mosaic(scale range从[0.1, 2.0]到[0.5, 1.5])并移除mixup,AP提高1.3%
- large model:适合增强augmentation
SOTA
- 注:因为软硬件差异,上表(表6)中inference speed通常是uncontrolled
- 补充:
- Scale-YOLOv4、YOLOv5-P6等模型性能更高,但size更大
- Transformer based detector将accuracy-SOTA推高到了∼60 AP
参考链接
本笔记的参考链接,都很不错,特别是第2篇,建议阅读!