多目标跟踪笔记十二:Tracking without bells and whistles

1.Introduce

作者提出将目标检测器转换为追踪器,不特意去对当前存在的遮挡,重识别和运动预测进行优化而完成跟踪任务。且不需要进行训练和优化。利用对象检测器的边界框回归来预测对象在下一帧中的新位置,通过简单的重新识别和相机运动补偿对其进行扩展, 展示了跟踪器的可扩展性。作者提出的方法能够解决大部分简单的跟踪方案。并探究跟踪的一些挑战和问题。

本文只使用目标检测方法进行跟踪, 将逐检测跟踪推向极限。通过研究能够发现,只对神经网络进行检测任务的训练,能够实现最先进的跟踪效果。希望能够讨论出MOT当前尚未解决的关键性挑战问题。

Benefits:

  1. 使用检测器回归直接得到下帧目标的位置,以此来解决跟踪问题
  2. 提出两种新的尝试:使用孪生网络和运动模型来进行扩展
  3. 本文提出的方案在很多环境下效果较好。希望能够给出一个范例,解决MOT的真正挑战。

2.Relate work

直接将检测器转换为跟踪器的优点在于:

使用几类基于CNN的检测算法来进行边界框的回归。并不需要任何跟踪特定的训练。

  1. 不执行任何复杂的优化测试时,跟踪器是在线形式的。
  2. 此外, 本文提出的方法还在几种具有挑战性的场景中取得了最先进的性能。

3.Method

Method: Object detector

使用基于resnet-101的Faster-Rcnn的检测器来进行边界框的回归。本文提出的方法利用上述的对边界框进行回归和分类的能力来进行多目标跟踪。

method:Tracktor

多目标跟踪的挑战是提取空间和时间位置,即轨迹。跟踪器的步骤为:

第一步:按照绿色箭头指向,利用边框回归将t-1帧的活动轨迹扩展到第t帧。即通过将t-1的目标边界框回归到第t帧的新位置来实现。(作者假定目标在两帧间移动距离较短,利用检测网络能够捕捉到稍有移动的目标)。标识将从以前的边界框自动转移到新回归的边界框, 从而有效地创建一个轨迹

第二步:在通过检测网络创建轨迹之后,如何停用轨迹呢?

  1. 当目标离开当前帧窗口或者新的分类score低于阈值。则停用该轨迹。
  2. 目标之间的遮挡

第三步:边框初始化,为了创建新的目标轨迹,如红色箭头所示,检测器对当前帧的所有目标进行检测获得Dt,如果新检测到的目标没有覆盖任何轨迹部分(之前帧的目标与当前帧其他目标的IOU小于阈值),则认为该检测出来的目标为新目标。“这种利用IOU进行创建轨迹的方法相当于重新检测近距离的人”,作者但在基础上加入了运动模型和REID。

多目标跟踪笔记十二:Tracking without bells and whistles

 

method:Tracking extensions

(1)Motion model

之前的假设是在运动目标在帧运动距离较小,但是在相机大范围运动或者其他极端情况下会出现问题。作者所以提出能够加入两种模型来更好的估计目标在未来帧的位置。对于带有移动相机的序列,采用简单的相机运动补偿 (CMC)。

(2)ReID

为了保持在线跟踪,使用了基于孪生网络的外观向量的短期重新身份识别算法(trinet)。在之前帧存储已经停用的轨迹,然后应用运动模型将新检测到的目标(轨迹)和停用的轨迹比较。通过计算空间距离(基于每个bbox的外观特征向量)。为了最小化降低错误重识别的风险,只考虑停用的轨迹和新的目标边界框。

  1. 分析讨论

本文提出的方法预计不会在拥挤和闭塞的情况下脱颖而出, 而只能在不太复杂的跟踪场景中脱颖而出。

 

  1. 带有扩展的跟踪器:使用在线方式将跟踪器应用于给定的一组检测当中,并扩展到跟踪特定的方法。考虑场景布局和对象的配置对于检测器也是个很好的方向。
  2. 轨迹生成:目前使用跟踪器作为输入已经较为常见(因为这样对运动/外观的模型信息更加丰富),同时对于检测器,可以产生稀疏检测,还要对帧的目标进行跟踪

其中:Tracktor为online,Tracktor++为offline

多目标跟踪笔记十二:Tracking without bells and whistles

多目标跟踪笔记十二:Tracking without bells and whistles

  1. Conclution

一个完整的faster RCNN的边界框回归器足以解决当前基准中存在的大多数跟踪场景。转换为 Tracktor 的探测器不需要跟踪groundtruth数据的具体培训, 并且能够在线工作。此外,本文的跟踪器可扩展, 可通过重新识别和相机运动补偿, 在 Mot挑战中提供了一个全新的技术。我们分析了多种专用跟踪方法在具有挑战性的跟踪方案中的性能, 与基于回归的 Tracktor(本文)相比, 本文方法效果更有效。我们希望这项工作将建立一个新的跟踪范式, 允许充分利用探测器的能力来解决大多数跟踪场景。

上一篇:STRCF:Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking阅读笔记


下一篇:Azure实践之change tracking监控文件内容