用相似矩阵的几何意义直观理解PCA降维方法

PCA(主成分分析)是降维中最经典的方法,其推导求解的常用两种方法包括最大方差理论(样本点到超平面的投影都尽可能分开)以及最小平方误差理论(样本点到超平面的距离都足够近),以上两种方法都需要进行严格意义上的数学推导,而本文想从另一个角度——相似矩阵的几何意义——直观理解PCA的原理。

1. 相似矩阵的几何意义

以三维向量空间为例,任何一个向量都可以用一组基向量的某个线性组合表示:v=a1e1+a2e2+a3e3=a1e1+a2e2+a3e3\vec{v}=a_{1}e_{1}+a_{2}e_{2}+a_{3}e_{3}=a_{1}^{'}e_{1}^{'}+a_{2}^{'}e_{2}^{'}+a_{3}^{'}e^{'}_{3}v=a1​e1​+a2​e2​+a3​e3​=a1′​e1′​+a2′​e2′​+a3′​e3′​, e1,e2,e3e1,e2,e3e_{1},e_{2},e_{3}与e_{1}^{'},e^{'}_{2},e^{'}_{3}e1​,e2​,e3​与e1′​,e2′​,e3′​是三维空间的两组不同基向量,而两组不同基向量间可通过坐标变换实现相互转化:
v=(e1,e2,e3)(a1a2a3)=(e1,e2,e3)(w11w12w13=w21w22w23w31w32w33)(a1a2a3)=(e1,e2,e3)(a1a2a3) \vec{v}=\begin{pmatrix}e_{1}^{'},e^{'}_{2},e^{'}_{3}\end{pmatrix}\begin{pmatrix}a_{1}^{'}\\ a_{2}^{'}\\a_{3}^{'}\end{pmatrix}= \begin{pmatrix}e_{1},e_{2},e_{3}\end{pmatrix} \begin{pmatrix} w_{11}& w_{12} &w_{13} \\ =w_{21} & w_{22}&w_{23} \\ w_{31} &w_{32}&w_{33} \end{pmatrix}\begin{pmatrix}a_{1}^{'}\\ a^{'}_{2}\\a^{'}_{3}\end{pmatrix}= \begin{pmatrix}e_{1},e_{2},e_{3}\end{pmatrix}\begin{pmatrix}a_{1}\\ a_{2}\\a_{3}\end{pmatrix} v=(e1′​,e2′​,e3′​​)⎝⎛​a1′​a2′​a3′​​⎠⎞​=(e1​,e2​,e3​​)⎝⎛​w11​=w21​w31​​w12​w22​w32​​w13​w23​w33​​⎠⎞​⎝⎛​a1′​a2′​a3′​​⎠⎞​=(e1​,e2​,e3​​)⎝⎛​a1​a2​a3​​⎠⎞​
e1,e2,e3e1,e2,e3e_{1},e_{2},e_{3}与e_{1}^{'},e^{'}_{2},e^{'}_{3}e1​,e2​,e3​与e1′​,e2′​,e3′​之间的坐标变换由W3×3=(w11w12w13w21w22w23w31w32w33)W_{3×3}= \begin{pmatrix}w_{11}& w_{12} &w_{13} \\ w_{21} & w_{22}&w_{23} \\w_{31} &w_{32}&w_{33} \end{pmatrix}W3×3​=⎝⎛​w11​w21​w31​​w12​w22​w32​​w13​w23​w33​​⎠⎞​表示,为保证每组基向量线性无关,WWW矩阵必须为可逆矩阵(行列式>0),因此有(e1,e2,e3)=(e1,e2,e3)W3×3(a1a2a3)=W3×31(a1a2a3)(e_{1}^{'},e^{'}_{2},e^{'}_{3})=(e_{1},e_{2},e_{3})W_{3×3},\begin{pmatrix}a_{1}^{'}\\ a_{2}^{'}\\a^{'}_{3}\end{pmatrix}=W_{3×3}^{-1}\begin{pmatrix}a_{1}\\ a_{2}\\a_{3}\end{pmatrix}(e1′​,e2′​,e3′​)=(e1​,e2​,e3​)W3×3​,⎝⎛​a1′​a2′​a3′​​⎠⎞​=W3×3−1​⎝⎛​a1​a2​a3​​⎠⎞​。

线性空间中,相同的向量可由不同基向量的某个线性组合表示,那么相同的线性变换也可由不同基向量下的唯一不同矩阵表示,如对向量v\vec{v}v进行某个线性空间变换LLL,即vL(v)\vec{v}\rightarrow L(\vec{v})v→L(v):
L(v)=a1L(e1)+a2L(e2)+a3L(e3)=(L(e1),L(e2),L(e3))(a1a2a3)=(e1,e2,e3)(l11l12l13l21l22l23l31l32l33)(a1a2a3) L(\vec{v})=a_{1}L(e_{1})+a_{2}L(e_{2})+a_{3}L(e_{3})=\begin{pmatrix}L(e_{1}), L(e_{2}),L(e_{3})\end{pmatrix} \begin{pmatrix}a_{1}\\ a_{2}\\a_{3}\end{pmatrix} =\begin{pmatrix}e_{1},e_{2},e_{3}\end{pmatrix} \begin{pmatrix} l_{11}& l_{12} &l_{13} \\ l_{21} & l_{22}&l_{23} \\ l_{31} & l_{32}&l_{33} \end{pmatrix}\begin{pmatrix}a_{1}\\ a_{2}\\a_{3}\end{pmatrix} L(v)=a1​L(e1​)+a2​L(e2​)+a3​L(e3​)=(L(e1​),L(e2​),L(e3​)​)⎝⎛​a1​a2​a3​​⎠⎞​=(e1​,e2​,e3​​)⎝⎛​l11​l21​l31​​l12​l22​l32​​l13​l23​l33​​⎠⎞​⎝⎛​a1​a2​a3​​⎠⎞​
L(v)=(e1,e2,e3)(l11l12l13l21l22l23l31l32l33)(a1a2a3)=(e1,e2,e3)W3×3(l11l12l13l21l22l23l31l32l33)W3×31(a1a2a3) L(\vec{v})=\begin{pmatrix}e_{1}^{'},e^{'}_{2},e^{'}_{3}\end{pmatrix} \begin{pmatrix} l_{11}^{'}& l_{12}^{'} &l_{13}^{'} \\ l_{21} ^{'}& l_{22}^{'}&l_{23}^{'} \\ l_{31}^{'} & l_{32}^{'}&l_{33}^{'} \end{pmatrix}\begin{pmatrix}a_{1}^{'}\\ a_{2}^{'}\\a^{'}_{3}\end{pmatrix}=(e_{1},e_{2},e_{3})W_{3×3}\begin{pmatrix} l_{11}^{'}& l_{12}^{'} &l_{13}^{'} \\ l_{21} ^{'}& l_{22}^{'}&l_{23}^{'} \\ l_{31}^{'} & l_{32}^{'}&l_{33}^{'} \end{pmatrix}W_{3×3}^{-1}\begin{pmatrix}a_{1}\\ a_{2}\\a_{3}\end{pmatrix} L(v)=(e1′​,e2′​,e3′​​)⎝⎛​l11′​l21′​l31′​​l12′​l22′​l32′​​l13′​l23′​l33′​​⎠⎞​⎝⎛​a1′​a2′​a3′​​⎠⎞​=(e1​,e2​,e3​)W3×3​⎝⎛​l11′​l21′​l31′​​l12′​l22′​l32′​​l13′​l23′​l33′​​⎠⎞​W3×3−1​⎝⎛​a1​a2​a3​​⎠⎞​
L3×3=(l11l12l13l21l22l23l31l32l33)L_{3×3}= \begin{pmatrix}l_{11}& l_{12} &l_{13} \\ l_{21} &l_{22}&l_{23} \\ l_{31} &l_{32}&l_{33} \end{pmatrix}L3×3​=⎝⎛​l11​l21​l31​​l12​l22​l32​​l13​l23​l33​​⎠⎞​,L3×3=(l11l12l13l21l22l23l31l32l33)L^{'}_{3×3}= \begin{pmatrix}l_{11}^{'}& l_{12}^{'} &l_{13}^{'} \\ l_{21}^{'} &l_{22}^{'}&l_{23}^{'} \\ l_{31}^{'} &l_{32}^{'}&l_{33}^{'} \end{pmatrix}L3×3′​=⎝⎛​l11′​l21′​l31′​​l12′​l22′​l32′​​l13′​l23′​l33′​​⎠⎞​,L3×3L3×3L_{3×3}与L^{'}_{3×3}L3×3​与L3×3′​分别为相同的线性变换LLL在不同基底e1,e2,e3e_{1},e_{2},e_{3}e1​,e2​,e3​与e1,e2,e3e_{1}^{'},e^{'}_{2},e^{'}_{3}e1′​,e2′​,e3′​的表示矩阵,且满足L3×3=W3×31L3×3W3×3L^{'}_{3×3}=W_{3×3}^{-1}L_{3×3}W_{3×3}L3×3′​=W3×3−1​L3×3​W3×3​,我们就说L3×3L3×3L_{3×3}与 L^{'}_{3×3}L3×3​与L3×3′​相似。

可见矩阵的本质是一种线性变换,同一个线性变换在不同坐标基底的表示矩阵是相似矩阵。而在描述同一个线性变换的不同基底中,有一类基底较特殊,用此类基底可将该线性变换的表示矩阵对角化,对角矩阵的几何意义为仅对基向量做缩放,而不改变其方向。
L(v)=(e1,e2,e3)(λ1000λ2000λ3)(a1a2a3)=(λ1e1,λ2e2,λ3e3)(a1a2a3) L(\vec{v})=\begin{pmatrix}e_{1}^{'},e^{'}_{2},e^{'}_{3}\end{pmatrix} \begin{pmatrix} \lambda _{1} & 0&0 \\ 0& \lambda _{2} &0 \\ 0& 0 &\lambda _{3} \end{pmatrix}\begin{pmatrix}a_{1}^{'}\\ a_{2}^{'}\\a^{'}_{3}\end{pmatrix}=(\lambda _{1} e_{1},\lambda _{2} e_{2},\lambda _{3} e_{3})\begin{pmatrix}a_{1}^{'}\\ a_{2}^{'}\\a^{'}_{3}\end{pmatrix} L(v)=(e1′​,e2′​,e3′​​)⎝⎛​λ1​00​0λ2​0​00λ3​​⎠⎞​⎝⎛​a1′​a2′​a3′​​⎠⎞​=(λ1​e1​,λ2​e2​,λ3​e3​)⎝⎛​a1′​a2′​a3′​​⎠⎞​
那如何求这类特殊基向量以及相应的对角元素呢?根据上述公式L3×3=M3×31L3×3M3×3M3×3L3×3=L3×3M3×3L^{'}_{3×3}=M_{3×3}^{-1}L_{3×3}M_{3×3}\rightarrow M_{3×3}L^{'}_{3×3}=L_{3×3}M_{3×3}L3×3′​=M3×3−1​L3×3​M3×3​→M3×3​L3×3′​=L3×3​M3×3​,这里L3×3L^{'}_{3×3}L3×3′​是特殊基底下的对角矩阵,L3×3L_{3×3}L3×3​是单位矩阵I3I_{3}I3​基底下的非对角矩阵,则有:
M3×3L3×3=(w11w12w13w21w22w23w31w32w33)(λ1000λ2000λ3)=(l11l12l13l21l22l23l31l32l33)(w11w12w13w21w22w23w31w32w33)=L3×3M3×3 M_{3×3}L^{'}_{3×3}= \begin{pmatrix} w_{11}& w_{12} &w_{13} \\ w_{21} & w_{22}&w_{23} \\ w_{31} &w_{32}&w_{33} \end{pmatrix}\begin{pmatrix} \lambda _{1} & 0&0 \\ 0& \lambda _{2} &0 \\ 0& 0 &\lambda _{3} \end{pmatrix}=\begin{pmatrix} l_{11}& l_{12} &l_{13} \\ l_{21} & l_{22}&l_{23} \\ l_{31} & l_{32}&l_{33} \end{pmatrix} \begin{pmatrix} w_{11}& w_{12} &w_{13} \\ w_{21} & w_{22}&w_{23} \\ w_{31} &w_{32}&w_{33} \end{pmatrix}=L_{3×3}M_{3×3} M3×3​L3×3′​=⎝⎛​w11​w21​w31​​w12​w22​w32​​w13​w23​w33​​⎠⎞​⎝⎛​λ1​00​0λ2​0​00λ3​​⎠⎞​=⎝⎛​l11​l21​l31​​l12​l22​l32​​l13​l23​l33​​⎠⎞​⎝⎛​w11​w21​w31​​w12​w22​w32​​w13​w23​w33​​⎠⎞​=L3×3​M3×3​
wj=(w1jw2jw3j)Tw_{j}=\begin{pmatrix}w_{1j}& w_{2j}& w_{3j}\end{pmatrix}^{T}wj​=(w1j​​w2j​​w3j​​)T,可以得到L3×3wj=λjwjL_{3×3}w_{j}=\lambda _{j} w_{j}L3×3​wj​=λj​wj​,不难发现λj\lambda _{j}λj​为矩阵L3×3L_{3×3}L3×3​的其中一个特征值,非零向量wjw_{j}wj​为L3×3L_{3×3}L3×3​对应特征值的特征向量。因此特征向量是进行线性变换(以单位矩阵I3I_{3}I3​为基底的L3×3L_{3×3}L3×3​矩阵表示的线性变换)后方向不变的向量,将这类特征向量作为基底,可将该线性变换的表示矩阵对角化,而特征值则为对应特征向量经过线性变换后的缩放比例。通过求解L3×3L_{3×3}L3×3​矩阵对应的特征值和特征向量,让同样的线性变换通过简洁的对角矩阵的形式表现出来,对实际应用中的数据降维,特征提取都有深刻的意义。

2. 直观理解PCA的基底选取

PCA的本质就是通过基底变化尽可能大的保留原始样本的有效信息,去掉噪音,与信号处理领域的信噪比类似,我们认为有效信息具有较大方差,噪声具有较小方差,信噪比越大意味着数据的质量越好。

假设用矩阵XXX表示样本集(已中心化处理),每一行包含一个不同的样本αiT=(xi1xi2xi3)\alpha_{i}^{T}= \begin{pmatrix}x_{i1}&x_{i2}&x_{i3}\end{pmatrix}αiT​=(xi1​​xi2​​xi3​​),每一列对应于样本的一个特征βj=(x1jx2jx3j)T\beta_{j}=\begin{pmatrix}x_{1j}& x_{2j}& x_{3j}\end{pmatrix}^{T}βj​=(x1j​​x2j​​x3j​​)T,那么我们希望某几个列向量的方差尽可能大,即某几个方差较大的特征为有效信息,其余方差较小的特征可当噪声忽略,不同列向量间的协方差尽可能小,即不同特征之间尽可能不相关,信息尽量转移到某几个独立的特征上。

X=(x11x12x13x21x22x23x31x32x33)=(α1Tα2Tα3T)=(β1,β2,β3) X= \begin{pmatrix} x_{11}& x_{12} &x_{13} \\ x_{21} & x_{22}&x_{23} \\ x_{31} & x_{32}&x_{33} \end{pmatrix}= \begin{pmatrix} \alpha_{1} ^{T}\\ \\ \alpha_{2}^{T} \\ \\ \alpha_{3}^{T}\\ \end{pmatrix}= \begin{pmatrix}\beta_{1},& \beta_{2},& \beta _{3}\end{pmatrix} X=⎝⎛​x11​x21​x31​​x12​x22​x32​​x13​x23​x33​​⎠⎞​=⎝⎜⎜⎜⎜⎛​α1T​α2T​α3T​​⎠⎟⎟⎟⎟⎞​=(β1​,​β2​,​β3​​)
那么如何表示列向量的方差与协方差呢,这里我们自然想到XXX的协方差矩阵,这里需要注意的是:协方差矩阵计算的是不同特征之间而非不同样本之间的协方差
CX=1mXTX=(Cov(β1,β1)Cov(β1,β2)Cov(β1,β3)Cov(β2,β1)Cov(β2,β2)Cov(β2,β3)Cov(β3,β1)Cov(β3,β2)Cov(β3,β3)) C_{X}=\frac{1}{m}X^{T}X= \begin{pmatrix} Cov( \beta_{1}, \beta_{1})& Cov( \beta_{1}, \beta_{2}) &Cov( \beta_{1}, \beta_{3}) \\ Cov( \beta_{2}, \beta_{1})& Cov( \beta_{2}, \beta_{2}) &Cov( \beta_{2}, \beta_{3}) \\ Cov( \beta_{3}, \beta_{1})& Cov( \beta_{3}, \beta_{2}) &Cov( \beta_{3}, \beta_{3}) \end{pmatrix} CX​=m1​XTX=⎝⎛​Cov(β1​,β1​)Cov(β2​,β1​)Cov(β3​,β1​)​Cov(β1​,β2​)Cov(β2​,β2​)Cov(β3​,β2​)​Cov(β1​,β3​)Cov(β2​,β3​)Cov(β3​,β3​)​⎠⎞​
理想型的协方差矩阵CXC_{X}CX​应满足非对角线元素Cov(βi,βj)Cov( \beta_{i}, \beta_{j})Cov(βi​,βj​)为0(不同列向量间的协方差尽可能小),选取较大的对角线元素Cov(βj,βj)Cov( \beta_{j}, \beta_{j})Cov(βj​,βj​)所对应的列向量β1β2\beta_{1}、\beta_{2}β1​、β2​为样本集的有效特征(某几个列向量的方差尽可能大),其他较小的列向量如β3\beta_{3}β3​可当作噪声被忽略,从而实现降维。

而实际数据集各特征之间通常存在相关性,有效信息与噪声杂糅在一起,其协方差矩阵的非对角元素并不为0,因此我们需要通过改变坐标基底将实际数据集的协方差矩阵转化为理想型的对角矩阵。
CX=W1CXW=(λ1000λ2000λ3) C_{X}^{'}=W^{-1}C_{X}W= \begin{pmatrix} \lambda _{1} & 0&0 \\ 0& \lambda _{2} &0 \\ 0& 0 &\lambda _{3} \end{pmatrix} CX′​=W−1CX​W=⎝⎛​λ1​00​0λ2​0​00λ3​​⎠⎞​
由相似矩阵的几何知识可知:

  • CXC_{X}CX​是线性变换LLL在基底(e1,e2,e3)\begin{pmatrix}e_{1}, e_{2},e_{3}\end{pmatrix}(e1​,e2​,e3​​)下表示的矩阵,这里的基底为单位矩阵I3I_{3}I3​;
  • CXC_{X}^{'}CX′​是相同的线性变换LLL在基底(w1,w2,w3)\begin{pmatrix}w_{1}, w_{2},w_{3}\end{pmatrix}(w1​,w2​,w3​​)下表示的矩阵;
  • WWW是从(e1,e2,e3)\begin{pmatrix}e_{1}, e_{2},e_{3}\end{pmatrix}(e1​,e2​,e3​​)到(w1,w2,w3)\begin{pmatrix}w_{1}, w_{2},w_{3}\end{pmatrix}(w1​,w2​,w3​​)的线性变换 在(e1,e2,e3)\begin{pmatrix}e_{1}, e_{2},e_{3}\end{pmatrix}(e1​,e2​,e3​​)坐标系下表示的矩阵。

为满足CXC_{X}^{'}CX′​为对角矩阵,需要求出以单位矩阵为基底的矩阵CXC_{X}CX​(线性变换LLL)的特征值λ\lambdaλ与对应特征向量www,然后我们将特征值从大到小排列,取特征值前2个对应的特征向量ω1,ω2ω_{1},ω_{2}ω1​,ω2​,因为经过线性变换,这两个特征向量方向上的缩放比例最大,特征数据的方差最大,通过映射αiT=(w1Tαiw2Tαi)\alpha_{i}^{'T}=\begin{pmatrix}w_{1} ^{T}\alpha_{i} & w_{2} ^{T} \alpha_{i}\end{pmatrix}αi′T​=(w1T​αi​​w2T​αi​​)将3维样本映射到2维,从而实现降维。

上一篇:执行Kakfa Topic创建操作,发现无法创建提示replication factor larger than available brokers


下一篇:2021-04-10 263. 丑数