What & Why PCA (主成分分析)

PCA，Principal components analyses，主成分分析。广泛应用于降维，有损数据压缩，特征提取和数据可视化。也被称为Karhunen-Loeve变换

从降维的方法角度来看，有两种PCA的定义方式，这里需要有一个直观的理解：什么是变换（线性代数基础），想整理一下自己线性代数的可以移步我的另一篇文章：【直观详解】线性代数的本质

但是总的来说，PCA的核心目的是寻找一个方向（找到这个方向意味着二维中的点可以被压缩到一条直线上，即降维），这个方向可以：

• 最大化正交投影后数据的方差（让数据在经过变换后更加分散）

• 最小化投影造成的损失（下图中所有红线（投影造成的损失）加起来最小）

PCA 主成分分析主要目的是为了减少数据维数，其中Auto-encoder也是一种精巧的降维手段

2What & Why （奇异值分解）

SVD，Singular Value Decomposition，奇异值分解。最直观的解释如下图所示

总结，SVD就是把一个非方阵（压缩变换）分解为一个旋转➜伸缩压缩➜旋转三个变换（矩阵），如上图所示