Rotation Equivariant Siamese Networks for Tracking ---cvpr2021-sot

用于跟踪的旋转等变siamese网络

Abstract

旋转是视觉对象跟踪中长期存在但尚未解决的艰巨挑战之一。 现有的基于深度学习的跟踪算法使用常规的CNN,这些CNN本质上是平移等变的,但并非旨在解决旋转问题。 在本文中,我们首先证明视频中存在旋转实例时,现有跟踪器的性能会受到严重影响。 为了避免旋转的不利影响,我们介绍了等速旋转连体网络(RE-SiamNets),该网络是通过使用包含可控滤镜的等分组卷积层构建的。 SiamNets允许以无人监督的方式估计对象方向的变化,从而也方便了其在相对2D姿势估计中的使用。 我们进一步表明,通过对两个连续帧之间的方向变化施加限制,这种方向变化可以用于在siam跟踪中施加附加的运动约束。 为了进行基准测试,我们展示了旋转跟踪基准(RTB),它是一个包含一组带有旋转实例的视频的数据集。 通过对两种流行的暹罗体系结构进行的实验,我们证明RESiamNets很好地解决了旋转问题,并且胜过了常规的旋转。 此外,RE-SiamNets可以以无人监督的方式准确估算目标姿势的相对变化,即目标相对于参考框架的平面内旋转。 代码和数据将在https://github.com/dkgupta90/re-siamnet上提供。

1. Introduction

使用siam网络[1,28]进行视觉对象跟踪的任务,也称为siam跟踪,将跟踪问题转化为模板帧与候选帧中采样区域之间的相似性估计。 暹罗跟踪器最近在视觉对象跟踪领域中变得越来越流行,尤其是因为它们从相似性匹配中获得了强大的区分能力。 这是大多数最先进的跟踪器都基于此框架的主要原因[1,11,18,19,28]。
Rotation Equivariant Siamese Networks for Tracking ---cvpr2021-sot
图1:示例展示了用于对象跟踪的常规CNN模型中的旋转非等方差,ψθ(f(·))6 = f(ψθ(·))。 在此,f(·)和ψθ(·)分别表示神经网络的编码函数和旋转变换。

上一篇:OpenCV均值漂移的跟踪mean-shift based tracking的实例(附完整代码)


下一篇:[论文阅读 2019 CVPR 目标跟踪]Target-Aware Deep Tracking