【论文精读系列】之《Learning Background-Aware Correlation Filters for Visual Tracking》其二

• 3 Correlation Filters（相关滤波器）
• • 3.1 当前帧单张图像计算公式
  • 3.2 当前帧多张图像计算公式

论文地址：《Learning Background-Aware Correlation Filters for Visual Tracking》

注：该篇博客中，为了明确矩阵或者向量的形状，常出现诸如 ( A ) m , n (\boldsymbol A)_{m,n} (A)m,n​ 或者 ( b ) n , 1 (\boldsymbol b)_{n,1} (b)n,1​ 的表示，则表明 A \boldsymbol A A 是一个 m m m 行 n n n 列的矩阵，而 b \boldsymbol b b 则是 n n n 行 1 列的列向量。

3 Correlation Filters（相关滤波器）

3.1 当前帧单张图像计算公式

通过最小化以下目标，在空域中学习多通道相关滤波器被公式化：
E ( h ) = 1 2 ∥ y − ∑ k = 1 K h k ⋆ x k ∥ 2 2 + λ 2 ∑ k = 1 K ∥ h k ∥ 2 2 (1) E(\boldsymbol h)=\frac{1}{2}{\lVert{\boldsymbol y}-\sum_{k=1}^K{\boldsymbol h}_k \star{\boldsymbol x}_k\rVert_2^2}+\frac{\lambda}{2}\sum_{k=1}^K\lVert{\boldsymbol h}_k\rVert_2^2\tag{1} E(h)=21​∥y−k=1∑K​hk​⋆xk​∥22​+2λ​k=1∑K​∥hk​∥22​(1) 在公式（1）中：
x \boldsymbol x x 表示拥有 D D D 个像素的单帧图像，将其向量化（即图像矩阵拉成一条向量）之后，写成 D D D 行 1 列的列向量，对于多通道图像 x \boldsymbol x x，其每一个特征通道 x k {\boldsymbol x}_k xk​ 都是 D D D 行 1 列的列向量，总通道数为 K K K 个。
为了对多通道图像的每一个通道进行滤波，因此滤波器 h \boldsymbol h h 也有 K K K 个，其中第 k k k 个通道上的滤波器 h k {\boldsymbol h}_k hk​ 也是一个 D D D 行 1 列的列向量。
y \boldsymbol y y 表示期望的相关响应，也是一个 D D D 行 1 列的列向量。
λ \lambda λ 为正则化参数。
符号 ⋆ \star ⋆ 是空域相关算子，故 ∑ k = 1 K h k ⋆ x k \sum_{k=1}^K{\boldsymbol h}_k \star{\boldsymbol x}_k ∑k=1K​hk​⋆xk​ 可以写成： ( [ h k ( 1 ) h k ( 2 ) ⋮ h k ( D ) ] ⋆ [ x k ( 1 ) x k ( 2 ) ⋮ x k ( D ) ] ) k = 1 + ( [ h k ( 1 ) h k ( 2 ) ⋮ h k ( D ) ] ⋆ [ x k ( 1 ) x k ( 2 ) ⋮ x k ( D ) ] ) k = 2 + ⋯ + ( [ h k ( 1 ) h k ( 2 ) ⋮ h k ( D ) ] ⋆ [ x k ( 1 ) x k ( 2 ) ⋮ x k ( D ) ] ) k = K \begin{pmatrix}\begin{bmatrix} h_k(1) \\ h_k(2) \\ \vdots \\ h_k(D) \end{bmatrix} \star \begin{bmatrix} x_k(1) \\ x_k(2) \\ \vdots \\ x_k(D) \end{bmatrix}\end{pmatrix}_{k=1}+\begin{pmatrix}\begin{bmatrix} h_k(1) \\ h_k(2) \\ \vdots \\ h_k(D) \end{bmatrix} \star \begin{bmatrix} x_k(1) \\ x_k(2) \\ \vdots \\ x_k(D) \end{bmatrix}\end{pmatrix}_{k=2}+\cdots+\begin{pmatrix}\begin{bmatrix} h_k(1) \\ h_k(2) \\ \vdots \\ h_k(D) \end{bmatrix} \star \begin{bmatrix} x_k(1) \\ x_k(2) \\ \vdots \\ x_k(D) \end{bmatrix}\end{pmatrix}_{k=K} ⎝⎜⎜⎜⎛​⎣⎢⎢⎢⎡​hk​(1)hk​(2)⋮hk​(D)​⎦⎥⎥⎥⎤​⋆⎣⎢⎢⎢⎡​xk​(1)xk​(2)⋮xk​(D)​⎦⎥⎥⎥⎤​​⎠⎟⎟⎟⎞​k=1​+⎝⎜⎜⎜⎛​⎣⎢⎢⎢⎡​hk​(1)hk​(2)⋮hk​(D)​⎦⎥⎥⎥⎤​⋆⎣⎢⎢⎢⎡​xk​(1)xk​(2)⋮xk​(D)​⎦⎥⎥⎥⎤​​⎠⎟⎟⎟⎞​k=2​+⋯+⎝⎜⎜⎜⎛​⎣⎢⎢⎢⎡​hk​(1)hk​(2)⋮hk​(D)​⎦⎥⎥⎥⎤​⋆⎣⎢⎢⎢⎡​xk​(1)xk​(2)⋮xk​(D)​⎦⎥⎥⎥⎤​​⎠⎟⎟⎟⎞​k=K​ 补充说明1（开始）：
相关操作定义如下：
r h k x k ( m ) ≜ ∑ n = − ∞ ∞ h k ( n ) x k ( n − m ) = ∑ n = − ∞ ∞ h k ( n + m ) x k ( n ) r_{h_kx_k}(m)\triangleq \sum_{n=-\infty}^{\infty}h_k(n)x_k(n-m)=\sum_{n=-\infty}^{\infty}h_k(n+m)x_k(n) rhk​xk​​(m)≜n=−∞∑∞​hk​(n)xk​(n−m)=n=−∞∑∞​hk​(n+m)xk​(n) r x k h k ( m ) ≜ ∑ n = − ∞ ∞ x k ( n ) h k ( n − m ) = r h k x k ( − m ) r_{x_kh_k}(m)\triangleq \sum_{n=-\infty}^{\infty}x_k(n)h_k(n-m)=r_{h_kx_k}(-m) rxk​hk​​(m)≜n=−∞∑∞​xk​(n)hk​(n−m)=rhk​xk​​(−m) r h k x k ( m ) = h k ( m ) ∗ x k ( − m ) r_{h_kx_k}(m)=h_k(m)\ast x_k(-m) rhk​xk​​(m)=hk​(m)∗xk​(−m) 其中 ≜ \triangleq ≜ 表示 “定义”， ∗ \ast ∗ 表示卷积操作。
卷积操作定义如下：
h k ( n ) ∗ x k ( n ) ≜ ∑ m = − ∞ ∞ h k ( m ) x k ( n − m ) h_k(n)\ast x_k(n)\triangleq \sum_{m=-\infty}^{\infty}h_k(m)x_k(n-m) hk​(n)∗xk​(n)≜m=−∞∑∞​hk​(m)xk​(n−m)计算步骤：反褶、移位、相乘、求和。
补充说明1（结束）
由上述补充说明可知： ( h k ⋆ x k ) D , 1 ({\boldsymbol h}_k \star{\boldsymbol x}_k)_{D,1} (hk​⋆xk​)D,1​ ，因此 ( ∑ k = 1 K h k ⋆ x k ) D , 1 (\sum_{k=1}^K{\boldsymbol h}_k \star{\boldsymbol x}_k)_{D,1} (∑k=1K​hk​⋆xk​)D,1​ ，其与 ( y ) D , 1 (\boldsymbol y)_{D,1} (y)D,1​ 的尺寸一致，因此可以列向量相减并求取 2-范数的平方。

3.2 当前帧多张图像计算公式

再次考虑上述的相关运算 h k ⋆ x k {\boldsymbol h}_k \star{\boldsymbol x}_k hk​⋆xk​ ，我们有：
r h k x k ( m ) = ( h k ⋆ x k ) ( m ) ≜ ∑ n = − ∞ ∞ h k ( n ) x k ( n − m ) r_{h_kx_k}(m)=({\boldsymbol h}_k \star{\boldsymbol x}_k)(m)\triangleq \sum_{n=-\infty}^{\infty}h_k(n)x_k(n-m) rhk​xk​​(m)=(hk​⋆xk​)(m)≜n=−∞∑∞​hk​(n)xk​(n−m) 考虑到 h k {\boldsymbol h}_k hk​ 和 x k {\boldsymbol x}_k xk​ 均为有限长（长为 D D D）的序列（列向量），有：
r h k x k ( 0 ) = ∑ n = − ∞ ∞ h k ( n ) x k ( n − 0 ) = ∑ n = 1 D h k ( n ) x k ( n ) r_{h_kx_k}(0)=\sum_{n=-\infty}^{\infty}h_k(n)x_k(n-0)=\sum_{n=1}^Dh_k(n)x_k(n) rhk​xk​​(0)=n=−∞∑∞​hk​(n)xk​(n−0)=n=1∑D​hk​(n)xk​(n) 上式即为 h k T x k {\boldsymbol h}_k^T {\boldsymbol x}_k hkT​xk​ ； r h k x k ( 1 ) = ∑ n = − ∞ ∞ h k ( n ) x k ( n − 1 ) = ∑ n = 1 D h k ( n ) x k ( n − 1 ) r_{h_kx_k}(1)=\sum_{n=-\infty}^{\infty}h_k(n)x_k(n-1)=\sum_{n=1}^Dh_k(n)x_k(n-1) rhk​xk​​(1)=n=−∞∑∞​hk​(n)xk​(n−1)=n=1∑D​hk​(n)xk​(n−1) 对上式最右端而言，显然当 n = 1 n=1 n=1 时，有 x k ( 0 ) x_k(0) xk​(0) 出现，同时 x k ( D ) x_k(D) xk​(D) 没有参与运算； r h k x k ( 2 ) = ∑ n = − ∞ ∞ h k ( n ) x k ( n − 2 ) = ∑ n = 1 D h k ( n ) x k ( n − 2 ) r_{h_kx_k}(2)=\sum_{n=-\infty}^{\infty}h_k(n)x_k(n-2)=\sum_{n=1}^Dh_k(n)x_k(n-2) rhk​xk​​(2)=n=−∞∑∞​hk​(n)xk​(n−2)=n=1∑D​hk​(n)xk​(n−2) 对上式最右端而言，显然当 n = 1 , 2 n=1,2 n=1,2 时，有 x k ( − 1 ) , x k ( 0 ) x_k(-1),x_k(0) xk​(−1),xk​(0) 出现，同时 x k ( D − 1 ) , x k ( D ) x_k(D-1),x_k(D) xk​(D−1),xk​(D) 没有参与运算；
r h k x k ( D − 1 ) = ∑ n = − ∞ ∞ h k ( n ) x k ( n + 1 − D ) = ∑ n = 1 D h k ( n ) x k ( n + 1 − D ) r_{h_kx_k}(D-1)=\sum_{n=-\infty}^{\infty}h_k(n)x_k(n+1-D)=\sum_{n=1}^Dh_k(n)x_k(n+1-D) rhk​xk​​(D−1)=n=−∞∑∞​hk​(n)xk​(n+1−D)=n=1∑D​hk​(n)xk​(n+1−D) 对上式最右端而言，显然当 n = 1 , 2 , ⋯   , D − 1 n=1,2,\cdots,D-1 n=1,2,⋯,D−1 时，有 x k ( 2 − D ) , x k ( 3 − D ) , ⋯   , x k ( 0 ) x_k(2-D),x_k(3-D),\cdots,x_k(0) xk​(2−D),xk​(3−D),⋯,xk​(0) 出现，同时 x k ( 2 ) , x k ( 3 ) , ⋯   , x k ( D ) x_k(2),x_k(3),\cdots,x_k(D) xk​(2),xk​(3),⋯,xk​(D) 没有参与运算；

可以从两个角度考虑这个问题：
① 数学角度：为了保证表达式在数学上的完整性，同时不失相关性的含义，可以使用没有参与运算的值代替缺失的值，具体来讲如下：
对于 r h k x k ( 0 ) r_{h_kx_k}(0) rhk​xk​​(0) ：不作调整；
对于 r h k x k ( 1 ) r_{h_kx_k}(1) rhk​xk​​(1) ：使用没有参与运算的 x k ( D ) x_k(D) xk​(D) 替代缺失的 x k ( 0 ) x_k(0) xk​(0) ；
对于 r h k x k ( 2 ) r_{h_kx_k}(2) rhk​xk​​(2) ：使用没有参与运算的 x k ( D − 1 ) , x k ( D ) x_k(D-1),x_k(D) xk​(D−1),xk​(D) 依次替代缺失的 x k ( − 1 ) , x k ( 0 ) x_k(-1),x_k(0) xk​(−1),xk​(0) ；
对于 r h k x k ( D − 1 ) r_{h_kx_k}(D-1) rhk​xk​​(D−1) ：使用没有参与运算的 x k ( 2 ) , x k ( 3 ) , ⋯   , x k ( D ) x_k(2),x_k(3),\cdots,x_k(D) xk​(2),xk​(3),⋯,xk​(D) 依次替代缺失的 x k ( 2 − D ) , x k ( 3 − D ) , ⋯   , x k ( 0 ) x_k(2-D),x_k(3-D),\cdots,x_k(0) xk​(2−D),xk​(3−D),⋯,xk​(0) ；
② 相关滤波角度：这正是相关滤波所采用的循环移位操作：每次将数组（向量 x k \boldsymbol x_k xk​）的最后一个元素提至数组最前面，并与另外一个数组（向量 h k \boldsymbol h_k hk​）对应元素相乘再加和（即向量内积运算）。
不失一般性，记对 x k \boldsymbol x_k xk​ 循环移位操作符为 [ Δ τ j ] [\Delta{\boldsymbol\tau}_j] [Δτj​]，写成 x k [ Δ τ j ] \boldsymbol x_k[\Delta{\boldsymbol\tau}_j] xk​[Δτj​] ，其中 j = 1 , 2 , ⋯   , D j=1,2,\cdots,D j=1,2,⋯,D。
具体来讲如下：
r h k x k ( 0 ) = h k T x k [ Δ τ 1 ] r_{h_kx_k}(0)=\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_1] rhk​xk​​(0)=hkT​xk​[Δτ1​]，如下表：

元素1	元素2	元素3	⋯ \cdots ⋯	元素D-2	元素D-1	元素D
h k ( 1 ) h_k(1) hk​(1)	h k ( 2 ) h_k(2) hk​(2)	h k ( 3 ) h_k(3) hk​(3)	⋯ \cdots ⋯	h k ( D − 2 ) h_k(D-2) hk​(D−2)	h k ( D − 1 ) h_k(D-1) hk​(D−1)	h k ( D ) h_k(D) hk​(D)
x k ( 1 ) x_k(1) xk​(1)	x k ( 2 ) x_k(2) xk​(2)	x k ( 3 ) x_k(3) xk​(3)	⋯ \cdots ⋯	x k ( D − 2 ) x_k(D-2) xk​(D−2)	x k ( D − 1 ) x_k(D-1) xk​(D−1)	x k ( D ) x_k(D) xk​(D)

r h k x k ( 1 ) = h k T x k [ Δ τ 2 ] r_{h_kx_k}(1)=\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_2] rhk​xk​​(1)=hkT​xk​[Δτ2​]，如下表：

元素1	元素2	元素3	⋯ \cdots ⋯	元素D-2	元素D-1	元素D
h k ( 1 ) h_k(1) hk​(1)	h k ( 2 ) h_k(2) hk​(2)	h k ( 3 ) h_k(3) hk​(3)	⋯ \cdots ⋯	h k ( D − 2 ) h_k(D-2) hk​(D−2)	h k ( D − 1 ) h_k(D-1) hk​(D−1)	h k ( D ) h_k(D) hk​(D)
x k ( D ) x_k(D) xk​(D)	x k ( 1 ) x_k(1) xk​(1)	x k ( 2 ) x_k(2) xk​(2)	⋯ \cdots ⋯	x k ( D − 3 ) x_k(D-3) xk​(D−3)	x k ( D − 2 ) x_k(D-2) xk​(D−2)	x k ( D − 1 ) x_k(D-1) xk​(D−1)

r h k x k ( 2 ) = h k T x k [ Δ τ 3 ] r_{h_kx_k}(2)=\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_3] rhk​xk​​(2)=hkT​xk​[Δτ3​]，如下表：

元素1	元素2	元素3	⋯ \cdots ⋯	元素D-2	元素D-1	元素D
h k ( 1 ) h_k(1) hk​(1)	h k ( 2 ) h_k(2) hk​(2)	h k ( 3 ) h_k(3) hk​(3)	⋯ \cdots ⋯	h k ( D − 2 ) h_k(D-2) hk​(D−2)	h k ( D − 1 ) h_k(D-1) hk​(D−1)	h k ( D ) h_k(D) hk​(D)
x k ( D − 1 ) x_k(D-1) xk​(D−1)	x k ( D ) x_k(D) xk​(D)	x k ( 1 ) x_k(1) xk​(1)	⋯ \cdots ⋯	x k ( D − 4 ) x_k(D-4) xk​(D−4)	x k ( D − 3 ) x_k(D-3) xk​(D−3)	x k ( D − 2 ) x_k(D-2) xk​(D−2)

r h k x k ( D − 2 ) = h k T x k [ Δ τ D − 1 ] r_{h_kx_k}(D-2)=\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_{D-1}] rhk​xk​​(D−2)=hkT​xk​[ΔτD−1​]，如下表：

元素1	元素2	元素3	⋯ \cdots ⋯	元素D-2	元素D-1	元素D
h k ( 1 ) h_k(1) hk​(1)	h k ( 2 ) h_k(2) hk​(2)	h k ( 3 ) h_k(3) hk​(3)	⋯ \cdots ⋯	h k ( D − 2 ) h_k(D-2) hk​(D−2)	h k ( D − 1 ) h_k(D-1) hk​(D−1)	h k ( D ) h_k(D) hk​(D)
x k ( 3 ) x_k(3) xk​(3)	x k ( 4 ) x_k(4) xk​(4)	x k ( 5 ) x_k(5) xk​(5)	⋯ \cdots ⋯	x k ( D ) x_k(D) xk​(D)	x k ( 1 ) x_k(1) xk​(1)	x k ( 2 ) x_k(2) xk​(2)

r h k x k ( D − 1 ) = h k T x k [ Δ τ D ] r_{h_kx_k}(D-1)=\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_{D}] rhk​xk​​(D−1)=hkT​xk​[ΔτD​]，如下表：

元素1	元素2	元素3	⋯ \cdots ⋯	元素D-2	元素D-1	元素D
h k ( 1 ) h_k(1) hk​(1)	h k ( 2 ) h_k(2) hk​(2)	h k ( 3 ) h_k(3) hk​(3)	⋯ \cdots ⋯	h k ( D − 2 ) h_k(D-2) hk​(D−2)	h k ( D − 1 ) h_k(D-1) hk​(D−1)	h k ( D ) h_k(D) hk​(D)
x k ( 2 ) x_k(2) xk​(2)	x k ( 3 ) x_k(3) xk​(3)	x k ( 4 ) x_k(4) xk​(4)	⋯ \cdots ⋯	x k ( D − 1 ) x_k(D-1) xk​(D−1)	x k ( D ) x_k(D) xk​(D)	x k ( 1 ) x_k(1) xk​(1)

并且可以看出 r h k x k ( 0 ) = r h k x k ( D ) r_{h_kx_k}(0)=r_{h_kx_k}(D) rhk​xk​​(0)=rhk​xk​​(D)，即开始下一轮循环，因此公式（1）中的相关运算结果可表示如下：
h k ⋆ x k = [ r h k x k ( 0 ) r h k x k ( 1 ) ⋮ r h k x k ( D − 1 ) ] = [ h k T x k [ Δ τ 1 ] h k T x k [ Δ τ 2 ] ⋮ h k T x k [ Δ τ D ] ] {\boldsymbol h}_k \star{\boldsymbol x}_k=\begin{bmatrix} r_{h_kx_k}(0)\\ r_{h_kx_k}(1) \\ \vdots \\ r_{h_kx_k}(D-1) \end{bmatrix}=\begin{bmatrix} \boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_1]\\ \boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_2] \\ \vdots \\ \boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_D] \end{bmatrix} hk​⋆xk​=⎣⎢⎢⎢⎡​rhk​xk​​(0)rhk​xk​​(1)⋮rhk​xk​​(D−1)​⎦⎥⎥⎥⎤​=⎣⎢⎢⎢⎡​hkT​xk​[Δτ1​]hkT​xk​[Δτ2​]⋮hkT​xk​[ΔτD​]​⎦⎥⎥⎥⎤​ 再考虑所有的 K K K 个通道：
( ∑ k = 1 K h k ⋆ x k ) D , 1 = [ h 1 T x 1 [ Δ τ 1 ] + h 2 T x 2 [ Δ τ 1 ] + ⋯ + h K T x K [ Δ τ 1 ] h 1 T x 1 [ Δ τ 2 ] + h 2 T x 2 [ Δ τ 2 ] + ⋯ + h K T x K [ Δ τ 2 ] ⋮ h 1 T x 1 [ Δ τ D ] + h 2 T x 2 [ Δ τ D ] + ⋯ + h K T x K [ Δ τ D ] ] (\sum_{k=1}^K{\boldsymbol h}_k \star{\boldsymbol x}_k)_{D,1}=\begin{bmatrix} \boldsymbol h_1^T\boldsymbol x_1[\Delta{\boldsymbol\tau}_1]+\boldsymbol h_2^T\boldsymbol x_2[\Delta{\boldsymbol\tau}_1]+\cdots+\boldsymbol h_K^T\boldsymbol x_K[\Delta{\boldsymbol\tau}_1]\\ \boldsymbol h_1^T\boldsymbol x_1[\Delta{\boldsymbol\tau}_2]+\boldsymbol h_2^T\boldsymbol x_2[\Delta{\boldsymbol\tau}_2]+\cdots+\boldsymbol h_K^T\boldsymbol x_K[\Delta{\boldsymbol\tau}_2] \\ \vdots \\ \boldsymbol h_1^T\boldsymbol x_1[\Delta{\boldsymbol\tau}_D]+\boldsymbol h_2^T\boldsymbol x_2[\Delta{\boldsymbol\tau}_D]+\cdots+\boldsymbol h_K^T\boldsymbol x_K[\Delta{\boldsymbol\tau}_D] \end{bmatrix} (k=1∑K​hk​⋆xk​)D,1​=⎣⎢⎢⎢⎡​h1T​x1​[Δτ1​]+h2T​x2​[Δτ1​]+⋯+hKT​xK​[Δτ1​]h1T​x1​[Δτ2​]+h2T​x2​[Δτ2​]+⋯+hKT​xK​[Δτ2​]⋮h1T​x1​[ΔτD​]+h2T​x2​[ΔτD​]+⋯+hKT​xK​[ΔτD​]​⎦⎥⎥⎥⎤​ 则有
( y ) D , 1 − ( ∑ k = 1 K h k ⋆ x k ) D , 1 = [ y ( 1 ) − ( h 1 T x 1 [ Δ τ 1 ] + h 2 T x 2 [ Δ τ 1 ] + ⋯ + h K T x K [ Δ τ 1 ] ) y ( 2 ) − ( h 1 T x 1 [ Δ τ 2 ] + h 2 T x 2 [ Δ τ 2 ] + ⋯ + h K T x K [ Δ τ 2 ] ) ⋮ y ( D ) − ( h 1 T x 1 [ Δ τ D ] + h 2 T x 2 [ Δ τ D ] + ⋯ + h K T x K [ Δ τ D ] ) ] (\boldsymbol y)_{D,1}-(\sum_{k=1}^K{\boldsymbol h}_k \star{\boldsymbol x}_k)_{D,1}=\begin{bmatrix} y(1)-(\boldsymbol h_1^T\boldsymbol x_1[\Delta{\boldsymbol\tau}_1]+\boldsymbol h_2^T\boldsymbol x_2[\Delta{\boldsymbol\tau}_1]+\cdots+\boldsymbol h_K^T\boldsymbol x_K[\Delta{\boldsymbol\tau}_1])\\ y(2)-(\boldsymbol h_1^T\boldsymbol x_1[\Delta{\boldsymbol\tau}_2]+\boldsymbol h_2^T\boldsymbol x_2[\Delta{\boldsymbol\tau}_2]+\cdots+\boldsymbol h_K^T\boldsymbol x_K[\Delta{\boldsymbol\tau}_2])\\ \vdots \\ y(D)-(\boldsymbol h_1^T\boldsymbol x_1[\Delta{\boldsymbol\tau}_D]+\boldsymbol h_2^T\boldsymbol x_2[\Delta{\boldsymbol\tau}_D]+\cdots+\boldsymbol h_K^T\boldsymbol x_K[\Delta{\boldsymbol\tau}_D])\end{bmatrix} (y)D,1​−(k=1∑K​hk​⋆xk​)D,1​=⎣⎢⎢⎢⎡​y(1)−(h1T​x1​[Δτ1​]+h2T​x2​[Δτ1​]+⋯+hKT​xK​[Δτ1​])y(2)−(h1T​x1​[Δτ2​]+h2T​x2​[Δτ2​]+⋯+hKT​xK​[Δτ2​])⋮y(D)−(h1T​x1​[ΔτD​]+h2T​x2​[ΔτD​]+⋯+hKT​xK​[ΔτD​])​⎦⎥⎥⎥⎤​ 于是公式（1）中的 2-范数的平方可以写成：
∥ y − ∑ k = 1 K h k ⋆ x k ∥ 2 2 = ∑ j = 1 D ( y ( j ) − ∑ k = 1 K h k T x k [ Δ τ j ] ) 2 {\lVert{\boldsymbol y}-\sum_{k=1}^K{\boldsymbol h}_k \star{\boldsymbol x}_k\rVert_2^2}=\sum_{j=1}^D\begin{pmatrix}y(j)-\sum_{k=1}^K\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_j]\end{pmatrix}^2 ∥y−k=1∑K​hk​⋆xk​∥22​=j=1∑D​(y(j)−∑k=1K​hkT​xk​[Δτj​]​)2 最终公式（1）可以改写成：
E ( h ) = 1 2 ∑ j = 1 D ( y ( j ) − ∑ k = 1 K h k T x k [ Δ τ j ] ) 2 + λ 2 ∑ k = 1 K ∥ h k ∥ 2 2 (2) E(\boldsymbol h)=\frac{1}{2}{\sum_{j=1}^D\begin{pmatrix}y(j)-\sum_{k=1}^K\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_j]\end{pmatrix}^2}+\frac{\lambda}{2}\sum_{k=1}^K\lVert{\boldsymbol h}_k\rVert_2^2\tag{2} E(h)=21​j=1∑D​(y(j)−∑k=1K​hkT​xk​[Δτj​]​)2+2λ​k=1∑K​∥hk​∥22​(2) 补充说明2（开始）：
论文中的公式（2）如下
E ( h ) = 1 2 ∑ j = 1 D ∥ y ( j ) − ∑ k = 1 K h k T x k [ Δ τ j ] ∥ 2 2 + λ 2 ∑ k = 1 K ∥ h k ∥ 2 2 (2) E(\boldsymbol h)=\frac{1}{2}{\sum_{j=1}^D\lVert y(j)-\sum_{k=1}^K\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_j]\rVert_2^2}+\frac{\lambda}{2}\sum_{k=1}^K\lVert{\boldsymbol h}_k\rVert_2^2\tag{2} E(h)=21​j=1∑D​∥y(j)−k=1∑K​hkT​xk​[Δτj​]∥22​+2λ​k=1∑K​∥hk​∥22​(2) 原论文公式与我们推得的公式写法不同，这是因为 y ( j ) y(j) y(j) 是一个数值（而非向量）， ∑ k = 1 K h k T x k [ Δ τ j ] \sum_{k=1}^K\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_j] ∑k=1K​hkT​xk​[Δτj​] 也是一个数值（而非向量），这样一个数值减去一个数值，肯定还是一个数值，对这样一个数值求取 2-范数的平方，其结果为
∥ y ( j ) − ∑ k = 1 K h k T x k [ Δ τ j ] ∥ 2 2 = ( y ( j ) − ∑ k = 1 K h k T x k [ Δ τ j ] ) 2 \lVert y(j)-\sum_{k=1}^K\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_j]\rVert_2^2=\begin{pmatrix}y(j)-\sum_{k=1}^K\boldsymbol h_k^T\boldsymbol x_k[\Delta{\boldsymbol\tau}_j]\end{pmatrix}^2 ∥y(j)−k=1∑K​hkT​xk​[Δτj​]∥22​=(y(j)−∑k=1K​hkT​xk​[Δτj​]​)2 因此原论文公式与我们推得的公式等价。
补充说明2（结束）

The main drawback of Eq. 2 is learning a correlation filter/detector from D−1 circular shifted foreground patches which are generated through the [∆τj] operator. This trains a filter which perfectly discriminates the foreground target from its shifted examples. As mentioned earlier, this, however, increases the risk of over-fitting and limits the potential of the filter to classify the target from real non-target patches (Fig. 1 (a)). For generic object detection task, this drawback can be significantly diminished by exploiting a huge amount of positive (pedestrian) and negative (non-pedestrian) patches to train a well-generalized filter/detector. This, however, isnotpractical for the task of visual tracking. The target is the only positive sample available at the training time and gathering positive and negative examples from a pre-collected training set for each individual target is infeasible. Fortunately, the target comes with a large surrounding background which can be used as negative samples at the training stage. We propose the method of background-aware correlation filters to directly learn more robust and well-generalized CF tracker from background patches (Fig. 1 (b)).

公式（2）的主要缺点是通过循环移位算子，从前景的 D-1 个循环移位块中学习相关滤波器/检测器。虽然这训练了一个能完美地从移位样本中区分前景目标的滤波器，但是，如前所述，这增加了过拟合的风险，并限制了过滤器将目标与真实的非目标图像块区分的可能性（图1 (a)）。对于一般的目标检测任务，可以通过利用大量的正（行人）和负（非行人）图像块来训练一个具有很好泛化性能的滤波器/检测器，显著减少这一缺点的影响。然而，这对于视觉跟踪的任务是不实际的。目标是训练时唯一可用的正样本，从预先收集的训练集中为每个单个目标收集正和负样本是不可行的。幸运的是，目标带有较大的周围背景，可以在训练阶段用作负样本。我们提出了背景感知相关滤波器的方法，以直接从背景块中学习更鲁棒和更一般化的相关滤波跟踪器（图1 (b)）。

参考链接：
向量与矩阵的范数（比较1-范数、2-范数、无穷范数、p-范数、L0范数 和 L1范数等）
【目标跟踪: 相关滤波器 三】循环矩阵
机器学习总结(一)：线性回归、岭回归、Lasso回归
卷积、互相关与自相关