MOT 综述-Multiple Object Tracking: A Literature Review

ref:https://leijiezhang001.github.io/MOT-%E7%BB%BC%E8%BF%B0-Multiple-Object-Tracking-A-Literature-Review/

这篇文章比较广义,不是针对3D tracking的,知识互通,可以学习一下。

本文的主要贡献点如下四条:1)多目标跟踪系统的关键方向,包括公式(formulation),分类(categorization),关键原则(key principles),以及测评(evaluation);2)根据现有技术所属的不同方向来进行讨论,再将每个方向的方法划分为成组,然后对组内方法的原则、优缺点进行讨论;3)检验现有公开的实验并且总结在主流数据集上的实验结果,再进行量化地对比,与此同时指出分析中发现的几个有趣的问题;4)提供在MOT研究中会遇到的问题的讨论,以及可能在以后的工作中会出现的潜在可研究方向。

MOT作为一个中层任务,是一些高层任务的基础,比如行人的pose estimation,action recognition,behavior analysis,车辆的state estimation。

SOT(单目标跟踪)主要关注appearance model以及motion model的设计,解决尺度、旋转、光照等影响因素。而MOT包含两个任务:目标数量以及目标ID,这就要求MOT还需要解决其他问题:

frequent occlusions;

initialization and termination of tracks;

similar appearance;

interactions among multiple objucts;

1 问题描述

MOT 综述-Multiple Object Tracking: A Literature Review

 

 

 2 分类方法

    • initialization method
      初始化方式分为:
       ∘∘ Detection-Based Tracking,优势明显,除了只能处理特定的目标类型;
       ∘∘ Detection-Free Tracking,能处理任何目标类型;
    • processing mode
      根据是否使用未来的观测,处理方式可分为:
       ∘∘ online tracking,适合在线任务,缺点是观测量会比较少;
       ∘∘ offline tracking,输出结果存在时延,理论上能获得全局最优解;
    • type of output
      根据问题求解方式输出是否存在随机性:
       ∘∘ probabilistic inference,概率性推断;
       ∘∘ deterministic inference,求解最大后验概率;

      自动驾驶等在线任务主要关注 Detection-Based,online tracking。

3 框架

MOT主要考虑两个问题:

目标在不同帧之间的相似度量,即对appearance,motion,interaction,exclusion,occlusion的建模。

恢复出目标的ID,即inference过程;

3.1 Visual Representation

3.1.1. Visual Representation

  视觉表达即目标的特征表示方式:

  1. local features
    本质上是点特征,点特征由 corner+descriptor(角点+描述子) 组成。KLT(good features to track)在 SOT 中应用广泛,用它可以生成短轨迹,估计相机运动位姿,运动聚类等;Optical Flow也是一种局部特征,在数据关联之前也可用于将检测目标连接到短轨迹中去。
  2. region features
    在一个块区域内提取特征,根据像素间作差的次数,可分为:
    • zero-order, color histogram & raw pixel template
    • first-order, HOG & level-set formulation(?)
    • up-to-second-order, Region covariance matrix
  3. others
    其它特征本质上也需要 local 或 region 的方式提取,只是原始信息并不是灰度或彩图。如 depth,probabilistic occupancy map, gait feature.

  Local features,比如颜色特征,在计算上比较高效,但是对遮挡,旋转比较敏感;Region features 里,HOG 对光照有一定的鲁棒性,但是对遮挡及形变效果较差;Region covariance matrix 更加鲁棒,但是需要更高的计算量;深度特征也比较有效,但是需要额外的获取深度信息的代价。

MOT 综述-Multiple Object Tracking: A Literature Review

 

 MOT 综述-Multiple Object Tracking: A Literature Review

 

 

3.3. Interaction Model

3.3.1. Social Force Models

  1. Individual Force
    • fidelity, 目标不会改变它的目的地方向;
    • constancy, 目标不会突然改变速度和方向;
  2. Group Force
    • attraction, 目标间应该尽量靠近;
    • repulsion, 目标间也得保留适当的距离;
    • coherence, 同一个 group 里面的目标速度应该差不多;

3.3.2. Crowd Motion Pattern Models

  当一个 group 比较密集的时候,单个目标的运动模型不太显著了,这时候群体的运动模型更加有效,可以用一些方法来构建群体运动模型。

3.4. Exclusion Model

3.4.1. Detection-level

  同一帧两个检测量不能指向同一个目标。匹配 tracklets 时,可以将这一项作为惩罚项。不过目前的检测技术都做了 NMS,基本可以消除这种情况。

3.4.2. Trajectory-level

  两个轨迹不能非常靠近。对于 online tracking 来说,就是 tracking 结果的两个量不能挨在一起,如果挨在一起,就说明有问题,比如遮挡,或跟丢。

3.5. Occlusion Handling

  • Part-to-whole, 将目标分成栅格来处理;
  • Hypothesize-and-test,
  • Buffer-and-recover, 在遮挡产生前,记录一定量的观测,遮挡后恢复;
  • Others

MOT 综述-Multiple Object Tracking: A Literature Review

 

 

3.6.2. Deterministic Optimization

 确定性优化法需要至少一个时间窗口的观测量,所以适合 offline tracking 任务。优化方法有:

  • Bipartite graph matching
  • Dynamic Programming
  • Min-cost max-flow network flow
  • Conditional random field
  • MWIS(Maximum-weight independent set)

4. 评价方法

  评价方法是非常重要的,一方面对算法系统进行调参优化,另一方面比较各个不同算法的优劣。评价方法 (evaluation) 包括评价指标 (metrics) 以及数据集 (datasets),多类别的数据集主要有:

评价指标可分为:

A. 检测指标
 ◊◊ 准确性(Accuracy)

  • Recall & Precision
  • False Alarme per Frame(FAF) rate, from paper
  • False Positive Per Image(FPPI), from paper
  • MODA(Multiple Object Detection Accuracy), 包含了 false positive & miss dets. from paper

 ◊◊ 精确性(Precision)

  • MODP(Multiple Object Detection Precision), 衡量检测框与真值框的位置对齐程度;from paper

B. 跟踪指标
 ◊◊ 准确性(Accuracy)

  • ID switches(IDs), from paper
  • MOTA(Multiple Object Tracking Accuracy), 包含了FP,FN,mismatch;from paper

 ◊◊ 精确性(Precision)

  • MOTP(Multiple Object Tracking Precision), from paper
  • TDE(Tracking Distance Error), from paper
  • OSPA(optimal subpattern assignment), from paper

 ◊◊ 完整性(Completeness)

  • MT, the numbers of Mostly Tracked, from paper
  • PT, the numbers of Partly Tracked
  • ML, the numbers of Mostly Lost
  • FM, the numbers of Fragmentation

 ◊◊ 鲁棒性(Robustness)

  • RS(Recover from Short-term occlusion), from paper
  • RL(Recover from Long-term occlusion)

MOT 综述-Multiple Object Tracking: A Literature Review

 

 

5. 总结

5.1. 还存在的问题

  MOT 算法模块较多,参数也较复杂,但是最依赖于检测模块的性能,所以算法间比较性能时,需要注意按模块进行变量控制。

5.2. 未来研究方向

    • MOT with video adaptation,检测模块式预先训练的,需要在线更新学习;
    • MOT under multiple camera: ∘∘ multiple views,不同视野相同场景信息的记录, ∘∘ non-overlapping multi-camera,不同视野不同场景的 reidentification;
    • Multiple 3D object tracking,能更准确预测位置,大小,更有效处理遮挡;
    • MOT with scene understanding,拥挤场景,用场景理解来有效跟踪;
    • MOT with deep learning
    • MOT with other cv tasks,和其他任务融合,比如目标分割等;


不要怕,不要悔

https://leijiezhang001.github.io/%E5%8D%A1%E5%B0%94%E6%9B%BC%E6%BB%A4%E6%B3%A2%E8%AF%A6%E8%A7%A3/

https://leijiezhang001.github.io/%E5%8D%A1%E5%B0%94%E6%9B%BC%E6%BB%A4%E6%B3%A2%E5%99%A8%E5%9C%A8%E4%B8%89%E7%BB%B4%E7%9B%AE%E6%A0%87%E7%8A%B6%E6%80%81%E4%BC%B0%E8%AE%A1%E4%B8%AD%E7%9A%84%E5%BA%94%E7%94%A8/

 

 



上一篇:BUU CODE REVIEW 1


下一篇:Linux虚拟机NAT模式设置静态IP并且能上网的设置方法