Learning Spatial-Temporal Regularized Correlation Filters for Visual Tracking

cvpr2018，哈工大的文章，论文地址；项目地址

Motivation

解决边界效应的SRDCF采用HOG特征跟踪速度只有6fps,原因主要为：空间正则化迭代求解，学习模型时依赖来自历史帧的大规模训练集。
1.SRDCF 的高复杂度主要来源于对多幅图像的训练形式，破坏了封闭解形式。通过去除约束条件，单图像样本上的 SRDCF 可以通过 ADMM 有效地解决，具有封闭解。ADMM在相关滤波的应用
2.基于PA将时间正则化引入模型，更新时只需要当前帧和前一帧信息。在线被动攻击学习（PA））；PA论文

Abstract

DCF算法在跟踪领域具有高效的跟踪性能，但受限于边界效应的影响。SRDCF通过对DCF相关参数赋予空间惩罚项来解决边界效应问题，提高跟踪性能的同时提高了计算复杂度。对于在线更新问题，SRDCF 在多幅训练图像上建立模型，进一步增加了提高效率的难度。本文通过对SRDCF中的单样本进行时间正则化，提出一种时空正则化相关滤波器（STRCF）。STRCF不仅能够取得与多训练样本SRDCF的近似效果，且在目标外观具有大幅度变化时外观模型鲁棒性更强。此外STRCF能够通过ADMM方法求解。STRCF在准确性与跟踪速度上均优于SRDCF，相比于SRDCF，采用人工特征的STRCF，跟踪速度提高5倍，AUC提高5.4%，3.6%在OTB2015，Temple-Color数据集；深度特征在OTB2015 的AUC为68.3%。

Contributions

1.通过将空间和时间正则化纳入 DCF 框架，提出了 STRCF 模型。
2.利用ADMM高效求解，每个子问题都有封闭形式的解。

Algorithm

1.Revisit SRDCF

$\alpha$α指样本权重大小，通常取1，$\omega$ω，为空间惩罚系数，采用高斯-赛德尔迭代求解，无法利用循环矩阵结构，速度慢。

2.STRCF

基于PA算法，在SRDCF模型内加入时间正则化项：

$f_{t-1}$ft−1​是前一帧学习得到的滤波器，第三项即为时间正则化。

SRDCF在跟踪的过程中要使用到过去的多帧样本，带来了计算消耗。本文提出的STRCF在DCF的基础上加入了spatial和temporal正则项，且跟踪过程中只使用上一帧的信息。
STRCF是PA的拓展，在aggressive and passive model learning之间保持平衡。且在目标发生大幅度外观变化时，模型鲁棒性更强。如，遮挡时，SRDCF将会受到污染样本的影响造成过拟合，而STRCF通过passive更新使滤波器保持与前一帧相似而避免过拟合

3.Optimization algorithm

开始真正的表演，每次到求解部分数学渣渣就瑟瑟发抖，也许大概是这样：

求g比较简单，求导就ok

更新$\gamma$γ:

4.实验

传统特征与深度特征都比不过eco…

It is worth noting that ECO-HC adopts the Gaussian Mixture Model (GMM)-based generative sample space method to reduce the number of samples for training, and employs continuous convolution and factorized convolution for boosting the performance. In contrast, even our STRCF does not consider continuous convolution and factorized convolution techniques, it still yields favorable performance against the competing trackers.