论文地址：https://arxiv.org/abs/2108.02092

目标：

在无人机飞行过程中捕获的背景杂乱的画面中检测其他无人机

挑战：

• 任意的移动(相机移动，目标也移动)
• 小尺寸，只占画面像素的0.05%~0.07%（PASCAL VOC (22.62%) and ImageNet (19.94%)）

• 形状变换（拍摄角度不同，拍摄的无人机形状不同）
• 遮挡

基于region-proposal的方法无法捕捉到有足够区分力前景背景信息。

由于目标尺寸非常小，且具有复杂的移动特性，基于feature aggregation的方法表现也不好。

解决方案：

采用设计了两阶段的方法，并且引入了spatio-temporal attention。

第一阶段：针对每帧进行目标检测

分割网络，对无人机进行检测定位

（1）原始图像如果resize成小尺寸，则无人机可能只占1~2像素，严重影响检出。因此将图像切分成若干有重叠的区域（overlapping frame regions），每个区域都经过深度残差网络获取特征图

（2）为保持局部信息，对resnet50进行修改。

提取resnet的4个block的特征，并进行拼接（resize到统一尺度），最后用1X1的卷积压缩到原始特征尺度。

然后采用金字塔池化生成4个不同分辨率的特征图，再通过上采样后进行拼接。

然后使用channel-wise attention和pixel-wise attention来提升无人机定位准确度。

channel-wise attention：

目的是给不同的channel分配权重，提取有价值的channel，抑制无价值的channel。

最终attention vector与卷积得到的特征层（channels=512）进行乘积运算。

pixel-wise attention：

目的是给重要的位置更高的权重，给没有目标的区域更小的权重。

pixel-wise attention网络得到的是pixel-wise mask，mask与conv feature之间进行element-wise乘积。

pixel-wise可视化效果（提取的是哪层的feature map？）

Loss

无人机检测问题：

• 数据集存在严重的正负样本不均衡问题。
• 目标很小，检测结果偏差1~2个像素都有可能导致IOU<0.5

方案：

focal loss + Distance-IOU + smooth-L1

focal loss ： 解决样本不均衡

Distance-IOU： 不仅能够最小化检测结果与GT之间的IOU，同时优化两个box之间的中心距离。

smooth-L1： 用于训练pixel-wise注意力网络。

第二阶段：利用时空信息调优

refine第一阶段检测结果，并且尝试发掘漏检的无人机。

使用移动边界来发掘新的无人机位置。

使用前后N帧画面，对检出的结果进行跟踪

然后从这些跟踪结果中提取cuboid，送入3D卷积神经网络来提取时空特征。

使用pixel-wise attention和channel-wise attention来加强特征图来提升无人机定位准确度。

Motion boundaries

由于移动信息包含了相机移动和目标移动，简单的光流不够有效，本文使用光流梯度捕获移动信息。

给定3帧相邻的图像，使用关键点检测以及前向光流和后向光流，然后最大化3帧的移动梯度

该方法的问题：

检出最大边界响应，不能全部覆盖无人机

由于光流计算的潜在近似性，光流梯度幅值的最大值与移动无人机不完全匹配

为了解决这个问题，本文扩展了运动边界，然后使用条件随机获取更好的候选位置。

Cuboids formation

已经通过stage-1获得了无人机候选区域，同时采用运动边界获得了新的候选区域，接下来从所有候选无人机位置中提取时空特征。

针对每个候选区域初始tracker，由于无人机目标小且还存在相机移动问题，可能在很短几帧内目标位置就出现明显偏移，因此设定轨迹长度为8帧。

跟踪策略是3帧前向，3帧后向。（Note that tracking is done after the motion stabilization of the corresponding eight frames）

为了上下文信息捕捉以及轨迹漂移补偿，针对每个跟踪目标从原始视频帧中提取N X N patches，组成N * N * 8的cuboid。

然后针对每个cuboid ，使用Inflated-3D网络提取时空特征（I3D具有快速，内存占用少，获取时空信息的能力强等特点）

为了与标准的I3D输入尺寸保持一致，把N*N*8 resize到224*224*8

在倒数第三层使用3D conv，得到14*14*480，然后采用线性插值resize到60*60*480（与stage1 resnet的输出保持一致）。

然后采用2D conv把维度调整为60*60*2048.（也尝试了超分辨率方法，但实验发现没有提升）

每个cubiod的时空卷积特征进行聚合，随后接入与stage-1相同的attention模块。

loss也与stage-1一致。

结果：

实施细节

stage-1： 

NPS-Drones数据集：将每帧图片切分成9个overlapping patches

FL-Drones：将每帧图片切分成4个overlapping patches

end-to-end从零训练

stage-2

采用预训练的I3D网络

NPS-Drones数据集：cuboid中每个patch的尺寸为100*100

FL-Drones：cuboid中每个patch的尺寸由无人机目标的尺寸决定

Adam优化器

初始lr=0.001，无decay

采用最大最小尺寸阈值对候选框进行筛选

采用hard-negative mining

后处理阶段，移除值检测到一次的目标。

评估指标：

precision， recall， F1-score，AP

每帧图片作为独立的样本进行评估

数据集

NPS-Drones

50 videos， 分辨率(1920×1080 and 1280×760)，采用GoPro-3采集

总画面帧数为：70250

画面中无人机尺寸：最小（10 × 8）,平均（ 16.2 × 11.6）, and最大（ 65 × 21）

和FL-Drones

前40个视频为训练集，最后10个位测试集

FL-Drones：

这个数据集难度更大，因为目标存在极端遮挡，更多的姿态和尺寸变化，包含室内和室外样本

14 videos， 分辨率(640×480 and 752×480)

总画面帧数为：38948

画面中无人机尺寸：最小（9 × 9）,平均（ 25.5 × 16.4）, and最大（ 259 × 197）

一半用来训练，一半用来测试

由于这俩数据集中的标注框比实际目标大，作者对这两个数据集进行了重新标注。

与SOTA对比

参与对比的方法

• 全卷积一阶段的目标检测FCOS：fully convolutional one-stage object detector [36], 
• 小目标检测器SCRDet： cluttered and rotated small object detector [42], 

• 实例分割Mask-RCNN： instance segmentation [13], 
• 视频目标检测MEGA， SLSA，video object detectors [7, 39].

baseline的方法都是使用开源的预训练模型，训练iterations在8W~10W之间，使用一个1080Ti训练。

消融试验ablation studies

第一行只是用cross-entropy loss

第二行结合了focal loss和distance-IOU

第三行使用了channel-wise attention

第四行使用了pixel-wise attention

最后两行是指只有一个阶段，和使用两个阶段

第二阶段能够发现识别困难的无人机

检测失败的case

总结评价：

本文设计了一个two-stage的方法对无人机飞行拍摄画面中的其他无人机进行检测。本文并没有使用region-proposal的方法，而是使用了基于分割的方法，并且加入了pixel and channel-wise attention来提高无人机检测定位精度。同时还是用了motion信息提高召回率。

整个方法的算法复杂度是很高的，主要在于：

（1）在stage-1阶段，每帧图片都要分成9patches or 4 patches，每个patch单独进行resnet50特征提取

（2）在stage-2阶段，每个目标生成一个N*N*8的cubiod，每个cubiod需要单独的I3D处理

（3）非end2end的方式

不过这个任务难度也是非常大，本文实现的效果已经非常理想了。