摘要

在本文中，我们提出了一种新的跟踪架构，其中的编码器-解码器transformer为关键组件。 编码器对目标对象和搜索区域之间的全局时空特征相关性进行建模，而解码器学习嵌入的查询以预测目标对象的空间位置。 我们的方法将目标跟踪转换为直接边界框预测问题，而无需使用任何建议或预定义锚。 使用编解码器变压器，对象的预测仅使用简单的全卷积网络，该网络可以直接估计对象的拐角。 整个方法是端到端的，不需要任何余弦窗口和边界框平滑之类的后处理步骤，从而大大简化了现有的跟踪管道。 拟议的跟踪器在五个具有挑战性的短期和长期基准测试中实现了最先进的性能，同时以实时速度运行，比Siam R-CNN快6倍[47]。
代码和模型在这里是开源的。

1. Introduction

视觉目标跟踪是计算机视觉中一个基本但具有挑战性的研究主题。 在过去的几年中，基于卷积神经网络，目标跟踪取得了显着进展[25，9，47]。 但是，卷积核并不擅长对图像内容和特征的长期依赖性进行建模，因为它们仅处理空间或时间上的局部邻域。 当前流行的跟踪器，包括离线Siamese跟踪器和在线学习模型，几乎都基于卷积运算[2，37，3，47]。 结果，这些方法仅在对图像内容的局部关系建模时表现良好，但仅限于很难收集到全局信息。 这种缺陷可能会降低处理全局情境信息对于定位目标对象（例如经历大规模变化或频繁进出视图的对象）很重要的场景时模型的能力。

图1：与LaSOT上的最新技术比较[13]。我们以每秒帧数（fps）跟踪速度可视化了成功性能。Ours-ST101和Ours-ST50分别以ResNet-101和ResNet-50为骨干，表明了建议的跟踪器。 彩色效果更好。
通过使用Transformer，在序列建模中解决了远程相互作用的问题[46]。
Transformer在诸如自然语言建模[11，39]和语音识别[34]等任务中获得了巨大的成功。 最近，在判别式计算机视觉模型中使用了变压器，并引起了极大的关注[12、5、35]。 受最近的DEtection TRans-former (DETR)的启发[5]，我们提出了一种新的具有编码器-解码器transformer的端到端跟踪架构，以提高传统卷积模型的性能。
空间和时间信息对于目标跟踪都很重要。 前者包含用于目标定位的对象外观信息，而后者包含跨帧的对象的状态变化。 先前的Siamese跟踪器[25、51、14、6]仅利用空间信息进行跟踪，而在线方法[54、57、9、3]使用历史预测进行模型更新。 尽管成功，但这些方法并未显式地建模时空之间的关系。 在这项工作中，考虑到建模全局依赖项的出色能力，我们求助于转换器将空间和时间信息进行集成，以进行跟踪，生成可区分的时空特征以进行目标定位。
更具体地说，**我们提出了一种基于编码器-解码器Transformer的新型时空架构，**用于视觉跟踪。 新架构包含三个关键组件：编码器en，de解码器和预测pre-head头。
编码器接受初始目标对象，当前图像和动态更新的模板的输入。 编码器中的自注意模块通过它们的功能依赖性来学习输入之间的关系。
由于模板图像在整个视频序列中都会更新，因此编码器可以捕获目标的空间和时间信息。 解码器学习嵌入查询以预测目标对象的空间位置的查询。 基于角点的预测头用于估计当前帧中目标对象的边界框。
同时，学习得分的head去控制动态模板img的更新。
大量实验表明，我们的方法在短期[18，36]和长期跟踪基准[13，22]上都建立了新的最新性能。
例如，我们的时空transformer跟踪器在GOT-10K [18]和LaSOT [13]上分别比Siam R-CNN [47]高3.9％（AO得分）和2.3％（成功）。
还值得注意的是，与以前的长期跟踪器相比[8，47，53]，我们方法的框架要简单得多。 具体而言，先前的方法通常由多个组件组成，例如基本跟踪器[9、50]，目标验证模块[21]和全局检测器[40、19]。 相反，我们的方法只有一个以端到端的方式学习的网络。 此外，我们的跟踪器可以在Tesla V100 GPU上以实时速度运行，比Siam R-CNN（30幅5 fps）快6倍，如图1所示。总而言之，这项工作有三点贡献。
总而言之，这项工作有三点贡献:
•我们提出了专门用于视觉跟踪的新型Transformer架构。 它能够捕获视频序列中空间和时间信息的全局特征依赖性。
•整个方法是端到端的，不需要任何后处理步骤，例如余弦窗口和边界框平滑处理，从而大大简化了现有的跟踪管道。
•拟议的跟踪器以实时运行的速度，通过五个具有挑战性的短期和长期基准，实现了最先进的性能。

2. Related Work

Transformer in Language and Vision.
Spatio-Temporal Information Exploitation.
时空信息的利用是目标跟踪领域的核心问题。
现有的跟踪器可以分为两类：仅空间跟踪器和时空跟踪器。
大多数离线Siames跟踪器[2、26、25、60、29]属于仅空间跟踪器，它们将对象跟踪视为初始模板和当前搜索区域之间的模板匹配。 为了提取沿空间维度的模板与搜索区域之间的关系，大多数跟踪器采用了相关性的变体，包括the naive correlation[2，26]，深度相关性[25，60]和点状相关性 [29，52]。 尽管近年来取得了显着进展，但这些方法仅捕获了局部相似性，而忽略了全局信息。 相比之下，Transformer中的自注意力机制可以捕获远程关系，因此适合成对匹配任务。 与仅空间跟踪器相比，时空跟踪器还利用时间信息来提高跟踪器的鲁棒性 这些方法也可以分为两类：基于梯度的方法和无梯度的方法。 基于梯度的方法需要在推理过程中进行梯度计算。 MDNet [37]是经典著作之一，它利用梯度下降更新了特定领域的图层。 为了提高优化效率，以后的工作[9，3，27，48，55]采用了更高级的优化方法，例如高斯-牛顿法或基于元学习的更新策略。 但是，许多用于部署深度学习的实际设备不支持反向传播，这限制了基于梯度的方法的应用。 相反，无梯度方法在实际应用中具有更大的潜力。 一类无梯度方法[54，57]利用额外的网络来更新暹罗跟踪器的模板[2，61]。 另一个有代表性的工作LTMU [8]学习了一个元更新器，以预测当前状态是否足够可靠，可以用于长期跟踪中的更新。 尽管有效，但这些方法导致时空分离。 相比之下，我们的方法将空间和时间信息整体整合在一起，并通过转换器同时学习它们。
Tracking Pipeline and Post-processing.
先前跟踪器[25、51、60、47]的跟踪管道很复杂。 具体来说，他们首先生成具有置信度得分的大量框提议，然后使用各种后处理来选择最佳边界框作为跟踪结果。 常用的后处理包括余弦窗口，比例或宽高比罚分，边界框平滑，基于轨迹的动态编程等。尽管它带来更好的结果，但后处理会使性能对超参数敏感。 有一些跟踪器[16，19]试图简化跟踪管道，但是它们的性能仍然远远落后于最新的跟踪器。 这项工作试图弥补这一差距，并通过预测每一帧中的单个边界框来获得最佳性能。

3. Method

在本节中，我们提出了用于视觉跟踪的时空Transformer网络，称为STARK。 为了清楚起见，我们首先介绍一种简单的baseline方法，该方法直接将原始的编码器/解码器Transformer应用于跟踪。 基准线方法仅考虑空间信息并获得令人印象深刻的性能。 之后，我们扩展baseline以学习用于目标定位的空间和时间表示。 我们引入了动态模板和更新控制器来捕获目标对象的外观变化。

3.1. A Simple Baseline Based on Transformer

我们提出了一个基于视觉tfer的简单基线框架，用于对象跟踪。 该网络架构如图2所示。它主要由三个组件组成：卷积骨干，编码器-解码器tfer和边界框预测头。

• backbone
  我们的方法可以使用任意卷积网络作为特征提取的主干。 在不失一般性的前提下，我们采用修改过的ResNet [15]作为backbone。 更具体地说，除了删除最后一级和完全连接的层之外，原始ResNet [15]没有其他更改。 骨干的输入是一对图像：初始目标对象z∈R 3×H z×W z的模板图像和当前帧x∈R 3×H x×W x的搜索区域。 经过主干后，模板z和搜索图像x被映射到两个特征图f z∈R C×Hz/s×Hz/s和f x∈R C×Hx/s×Hx/s。
  • 编码器encoder
    从主干输出的特征图需要先进行预处理，然后再输入编码器。 具体而言，首先使用瓶颈层将通道数从C减少到d。 然后，将特征图展平并沿着空间维度进行级联，以生成长度为H s z W s z + H s x W s x且维度为d的特征序列，将其作为变压器编码器的输入。 该编码器由N个编码器层组成，每个编码器层均由具有前馈网络的多头自注意模块组成。 由于原始变换器的排列不变性[46]，我们在输入序列中添加了正弦位置嵌入。
    编码器捕获序列中所有元素之间的特征依存关系，并使用全局上下文信息增强原始特征，从而使模型可以学习区分特征以进行对象定位。
  • 解码器decoder
    解码器将目标查询和来自编码器的增强功能序列作为输入。
    与采用100个对象查询的DETR [5]不同，我们仅向解码器输入一个查询即可预测目标对象的一个​​边界框。 此外，由于只有一个预测，因此我们删除了DETR中用于预测关联的匈牙利算法[24]。 与编码器类似，解码器堆叠M个解码器层，每个解码器层由一个自我注意，一个编码器-解码器注意和一个前馈网络组成。 在编码器-解码器注意模块中，目标查询可以关注模板和搜索区域特征上的所有位置，从而为最终的边界框预测学习可靠的表示形式。
  • Head
    DETR [5]采用三层感知器来预测对象框坐标。 但是，正如GFLoss [28]指出的那样，直接回归坐标等效于拟合Dirac delta分布，该分布无法考虑数据集中的歧义和不确定性。 这种表示方式不灵活，并且对诸如目标跟踪中的遮挡和背景混乱等挑战并不稳健。 为了提高框估计的质量，我们通过估计框角的概率分布来设计一个新的预测头。 如图3所示，我们首先从编码器的输出序列中获取搜索区域特征，然后计算搜索区域特征与解码器的输出嵌入之间的相似度。
    接下来，将相似性得分与搜索区域特征逐元素相乘，以增强重要区域并削弱较不具有区别性的区域。 新的特征Ws Hs序列被重塑为特征图f∈R d×s×s，然后馈入简单的全卷积网络（FCN）。
    FCN由L个堆叠的Conv-BN-ReLU层组成，并分别为对象边界框的左上角和右下角输出两个概率图P tl（x，y）和P br（x，y）。 最后，通过计算等式中角的概率分布的期望值，获得预测的框坐标（c x tl，y c c tl）和（x br，y c br）。 （1）。 与DETR相比，我们的方法显式地对坐标估计中的不确定性进行建模，从而生成更准确，更可靠的对象跟踪预测。
• Training and Inference.
  我们的基线跟踪器是像DETR一样，以“ L1”和广义IoU损失[41]的组合进行端到端train的。 损失函数可以写成
  
  其中b i和b̂ i分别代表地面真实性和预测框，而λiou，λL 1∈R是超参数。
  但是与DETR不同，我们不使用分类损失和匈牙利算法，从而进一步简化了训练过程。 在推理期间，模板图像及其来自主干的特征由第一个帧初始化，并固定在随后的帧中。 在跟踪过程中，在每个帧中，网络均以当前帧中的搜索区域作为输入，并返回预测框作为最终结果，而无需使用任何余弦窗口或边界框平滑处理。

3.2. Spatio-Temporal Transformer Tracking

由于目标物体的外观可能会随着时间的流逝而发生显着变化，因此捕获目标的最新状态以进行跟踪非常重要。 在本节中，我们演示如何基于先前介绍的基准同时利用空间和时间信息。 做出了三个关键的区别，包括网络输入，额外的得分头score-head以及训练和推理策略。 我们对它们进行如下详细介绍。 时空架构如图4所示。

• 输入
  与仅使用第一帧和当前帧的基线方法不同，时空方法引入了从中间帧采样的动态更新模板作为附加输入，如图4所示。 动态模板可以捕获目标外观随时间的变化，从而提供其他时间信息。 与Sec中的基准架构相似。 如图3.1所示，将三元组的特征图展平并连接起来，然后发送到编码器。 编码器通过在空间和时间维度上对所有元素之间的全局关系进行建模来提取可区分的时空特征。
• head
  在跟踪期间，在某些情况下不应更新动态模板。 例如，当目标已完全被遮挡或已移出视线时，或者当跟踪器漂移时，裁剪后的模板是不可靠的。 为简单起见，我们认为只要搜索区域包含目标，就可以更新动态模板。 为了自动确定当前状态是否可靠，我们添加了一个简单的得分预测头，该头是三层感知器，然后是Sigmoid型激活。 如果分数高于阈值τ，则认为当前状态可靠。