用于跟踪的旋转等变siamese网络

Abstract

旋转是视觉对象跟踪中长期存在但尚未解决的艰巨挑战之一。 现有的基于深度学习的跟踪算法使用常规的CNN，这些CNN本质上是平移等变的，但并非旨在解决旋转问题。 在本文中，我们首先证明视频中存在旋转实例时，现有跟踪器的性能会受到严重影响。 为了避免旋转的不利影响，我们介绍了等速旋转连体网络（RE-SiamNets），该网络是通过使用包含可控滤镜的等分组卷积层构建的。 SiamNets允许以无人监督的方式估计对象方向的变化，从而也方便了其在相对2D姿势估计中的使用。 我们进一步表明，通过对两个连续帧之间的方向变化施加限制，这种方向变化可以用于在siam跟踪中施加附加的运动约束。 为了进行基准测试，我们展示了旋转跟踪基准（RTB），它是一个包含一组带有旋转实例的视频的数据集。 通过对两种流行的暹罗体系结构进行的实验，我们证明RESiamNets很好地解决了旋转问题，并且胜过了常规的旋转。 此外，RE-SiamNets可以以无人监督的方式准确估算目标姿势的相对变化，即目标相对于参考框架的平面内旋转。 代码和数据将在https://github.com/dkgupta90/re-siamnet上提供。

1. Introduction

使用siam网络[1，28]进行视觉对象跟踪的任务，也称为siam跟踪，将跟踪问题转化为模板帧与候选帧中采样区域之间的相似性估计。 暹罗跟踪器最近在视觉对象跟踪领域中变得越来越流行，尤其是因为它们从相似性匹配中获得了强大的区分能力。 这是大多数最先进的跟踪器都基于此框架的主要原因[1，11，18，19，28]。

图1：示例展示了用于对象跟踪的常规CNN模型中的旋转非等方差，ψθ（f（·））6 = f（ψθ（·））。 在此，f（·）和ψθ（·）分别表示神经网络的编码函数和旋转变换。