作者：桂。
时间：2017-04-03 19:41:26
链接：http://www.cnblogs.com/xingshansi/p/6661230.html
【读书笔记10】
前言
广义逆矩阵可以借助SVD进行求解，这在上一篇文章已经分析。本文主要对SVD进行梳理，主要包括：
1）特征向量意义；
2）特征值分解与SVD；
3）PCA与SVD；
内容为自己的学习记录，其中多有借鉴他人之处，最后一并给出链接。
一、特征向量
第一反应是：啥是特征向量？为什么好好的一个矩阵，要拆成这个模样？先看定义
$Av = \lambda v$
矩阵对应线性变换，可以看到特征向量是这样：线性变换后，只伸缩，既不平移、也不旋转。如计算$A^5v$，可以直接用$\lambda^5 v$，省去多少计算？
*有一张图很直观：
她的微笑是不是有熟悉的味道o(^▽^)o？不过这里不解读微笑，看红线→：矩阵线性变换后，方向也发生了改变，所以它不是特征向量; 蓝线→：线性变换之后，方向不变，所以是特征向量。由此也可见，特征向量是一个族，而不是独一无二的。
二、奇异值分解
A-特征值分解（EVD，Eigenvalues Decomposition）
这里分析酉矩阵，假设矩阵$\bf{B}$具有${\bf{B}} = {\bf{A}}{{\bf{A}}^H}$的形式，根据特征值定义：
根据酉矩阵特性：
${\bf{B}} = {\bf{U}}\Lambda {{\bf{U}}^H}$
这里仍然可以写成求和的形式，这也是显然的：酉矩阵张成的空间，就是每一个维度成分的叠加嘛。
B-奇异值分解（SVD，Singularly Valuable Decomposition）
根据矩阵变换特性：
其中$\bf{A}$是$m$x$n$的矩阵，$\bf{U_o}$为$m$x$m$，$\bf{V_o}$为$n$x$n$定义$\bf{B}$,并借助EVD进行分析：
因为是酉矩阵，从而${{\bf{U}}_o} = {\bf{U}}$。${\bf{\Sigma }}$为$m$x$n$，且，${s_i} = \sqrt {{\lambda _i}}, i=1,2,...min(m,n)$，至此完成$\bf{U_o}$和${\bf{\Sigma }}$的求解，还剩下$\bf{V_o}$。
对于${\bf{V_o}}$则有：
${\bf{AV_o}} = {\bf{U\Sigma }}$
即${{\bf{U}}^H}{\bf{A}} = {\bf{\Sigma }}{{\bf{V_o}}^H}$，因为有对角阵，转化为向量运算很方便，对于缺失的部分可以借助施密特正交化进行补全。
至此完成SVD分解。
总结SVD思路：
步骤一：利用$AA^H$求解矩阵$U$，并构造$S$;
步骤二：求解$V_o$，并借助施密特正交化构造完整的$V$。
特征值求解、施密特正交化，任何一本线性代数应该都有，所以这里假设特征值分解EVD、施密特正交化直接调用，给出SVD求解的代码（与svd指令等价）：
a = [ 1 7 5
1 6 4
2 7 8
10 5 4]';
[E,D] = eig(a*a');
%预处理
[val,pos] = sort(diag(D),'descend');
E = E(:,pos);
D = diag(val);
mina = min(size(a));
%SVD分解
U = E; %完成U求解
S = zeros(size(a));
S(1:mina,1:mina) = diag(sqrt(val(1:mina)));%完成S求解
Vo = [U(:,1:mina)'*a]'./repmat(diag(S)',size(a,2),1);%求解Vo
V = [Vo null(Vo')];%完成V求解，补全正交基，可借助施密特正交化
三、PCA与SVD
根据上文分析，可以看出SVD或者EVD都可以分解出特征值以及特征向量。
再来回顾以前PCA一文的求解思路：
- 步骤一：数据中心化——去均值，根据需要，有的需要归一化——Normalized；
- 步骤二：求解协方差矩阵；
- 步骤三：利用特征值分解/奇异值分解 求解特征值以及特征向量；
- 步骤四：利用特征向量构造投影矩阵；
- 步骤五：利用投影矩阵，得出降维的数据。
PCA的核心就是根据特征值的大小/总的比例 确定对应特征向量的个数，从而构造投影矩阵。简而言之：有了特征值、特征向量，也就相当于有了PCA。
而EVD/SVD是得到特征值、特征向量的方式，可以说EVD/SVD是PCA的基础，PCA是二者的应用方式。