马氏距离 (马哈拉诺比斯距离) (Mahalanobis distance)

马氏距离(Mahalanobis distance)是由印度统计学家马哈拉诺比斯(P. C. Mahalanobis)提出的,表示点与一个分布之间的距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是,它考虑到各种特性之间的联系,本文介绍马氏距离相关内容。

欧氏距离的缺点

距离度量在各个学科中有着广泛用途,当数据表示为向量 x → = ( x 1 , x 2 , ⋯   , x n ) T \overrightarrow{\mathbf{x} }=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{T} x =(x1​,x2​,⋯,xn​)T和 y → = ( y 1 , y 2 , ⋯   , y n ) T \overrightarrow{\mathbf{y}}=\left(y_{1}, y_{2}, \cdots, y_{n}\right)^{T} y ​=(y1​,y2​,⋯,yn​)T时,最直观的距离度量就是欧式距离了:

{% raw %}
d ( x , y ) : = ( x 1 − y 1 ) 2 + ( x 2 − y 2 ) 2 + ⋯ + ( x n − y n ) 2 = ∑ i = 1 n ( x i − y i ) 2 d(x, y):=\sqrt{\left(x_{1}-y_{1}\right)^{2}+\left(x_{2}-y_{2}\right)^{2}+\cdots+\left(x_{n}-y_{n}\right)^{2}}=\sqrt{\sum_{i=1}^{n}\left(x_{i}-y_{i}\right)^{2}} d(x,y):=(x1​−y1​)2+(x2​−y2​)2+⋯+(xn​−yn​)2 ​=i=1∑n​(xi​−yi​)2

{% endraw %}

但是这种度量方式没有考虑到各个维度之间的差异和相关等因素,不同的向量度量距离时权重都相同,这可能会对结果可信度产生干扰。

马氏距离

度量样本距离某个分布的距离,先将样本与分布标准化到多维标准正态分布后度量欧式距离

思想

  • 将变量按照主成分进行旋转,消除维度间的相关性
  • 对向量和分布进行标准化,让各个维度同为标准正态分布

推导

  • 分布由 n n n个 m m m维向量刻画,即共 n n n条数据,每条数据由一个 m m m维向量表示:

{% raw %}
KaTeX parse error: Unknown column alignment: * at position 28: …{\begin{array}{*̲{20}{c}} {{x_{1…
{% endraw %}

  • X X X的均值为 μ X {\mu _X} μX​
  • X X X的协方差矩阵为:

∑ X = 1 n ( X − μ X ) ( X − μ X ) T \sum\nolimits_X = \frac{1}{n}(X - {\mu _X}){(X - {\mu _X})^T} ∑X​=n1​(X−μX​)(X−μX​)T

  • 为消除维度间的相关性,通过一个 m × m m \times m m×m的矩阵 Q T Q^T QT对 X X X进行坐标表换,将数据映射到新的坐标系下,用 Y Y Y表示:

Y = Q T X Y=Q^TX Y=QTX

此时我们期望在 Q T Q^T QT的作用下, Y Y Y 的向量表示中,不同维度之间是相互独立的,此时 Y Y Y 的协方差矩阵应该是一个对角矩阵(除对角线元素外,其余元素均为0)。

  • Y 的均值: u Y = Q T u X u_{Y}=Q^{T} u_{X} uY​=QTuX​
  • Y 的协方差矩阵:

{% raw %}
Σ Y = 1 n [ Y − u Y ] [ y − u Y ] T = 1 n [ Q T ( X − u x ) ] [ Q T ( X − u X ) ] T = Q T 1 n ( X − u X ) ( X − u X ) T Q = Q T Σ X Q \begin{aligned} \Sigma_{Y} &=\frac{1}{n}\left[Y-u_{Y}\right]\left[y-u_{Y}\right]^{T} \\ &=\frac{1}{n}\left[Q^{T}\left(X-u_{x}\right)\right]\left[Q^{T}\left(X-u_{X}\right)\right]^{T} \\ &=Q^{T} \frac{1}{n}\left(X-u_{X}\right)\left(X-u_{X}\right)^{T} Q \\ &=Q^{T} \Sigma_{X} Q \end{aligned} ΣY​​=n1​[Y−uY​][y−uY​]T=n1​[QT(X−ux​)][QT(X−uX​)]T=QTn1​(X−uX​)(X−uX​)TQ=QTΣX​Q​

{% endraw %}

  • 从这里可以发现,当 $Q 是 是 是\Sigma_{X} 的 特 征 向 量 组 成 的 矩 阵 时 , 的特征向量组成的矩阵时, 的特征向量组成的矩阵时,\Sigma_{Y}$ 一定是对角矩阵,且值为每个特征向量对应的特征值。由于 Σ X \Sigma_{X} ΣX​是对称矩阵,因此肯定可以通过特征分解得到 Q Q Q ,且 Q Q Q 是正交矩阵。

  • Σ Y \Sigma_{Y} ΣY​的对角线元素含义为 Y Y Y中每个向量的方差,因此均为非负值,从这个角度可以说明协方差矩阵的特征值为非负值。

  • 而且事实上协方差矩阵本身就是半正定的,特征值均非负

  • 不相关与独立的问题:

接下来我们对向量进行标准化

  • 当我们减去均值后,向量已经变成了0均值的向量,距离标准化仅差将方差变为1

  • 在经历了 Y = Q T X Y=Q^TX Y=QTX变换后, Y Y Y的协方差矩阵已经成为了对角阵,对角线元素为 Y Y Y中各个维度数据的方差,那么我们仅需让 Y Y Y中各个维度数据除以该维度数据的标准差即可。

  • 我们将去相关化、0均值化、标准化过后的数据记为 Z Z Z:

    {% raw %}
    KaTeX parse error: Unknown column alignment: * at position 45: …{\begin{array}{*̲{20}{c}} {\frac…
    {% endraw %}

  • 而马氏距离就是度量纠正过后的向量 Z Z Z到分布中心(原点)的欧式距离:

    {% raw %}

$$
\begin{array}{l}
{D_M}(X) & =
\sqrt {{Z^T}Z} \&= \sqrt {{{\left( {X - {u_X}} \right)}^T}Q{{\left( {{Q^T}{\Sigma _X}Q} \right)}^{ - \frac{1}{2}}}{{\left( {{Q^T}{\Sigma _X}Q} \right)}^{ - \frac{1}{2}}}{Q^T}\left( {X - {u_X}} \right)} \
&= \sqrt {{{\left( {X - {u_X}} \right)}^T}Q{{\left( {{Q^T}{\Sigma _X}Q} \right)}^{ - 1}}{Q^T}\left( {X - {u_X}} \right)} \
&= \sqrt {{{\left( {X - {u_X}} \right)}T}Q{Q{ - 1}}\Sigma _X^{ - 1}Q{Q^T}\left( {X - {u_X}} \right)} \
&= \sqrt {{{\left( {X - {u_X}} \right)}^T}\Sigma _X^{-1}\left( {X - {u_X}} \right)} \

\end{array}
$$

{% endraw %}

参考资料

  • https://baike.baidu.com/item/%E9%A9%AC%E6%B0%8F%E8%B7%9D%E7%A6%BB/8927833?fr=aladdin
  • https://zhuanlan.zhihu.com/p/109100222
上一篇:SNGAN


下一篇:AndroidOpenCV(四十六):非真实渲染