1.矩阵分解

假设一个矩阵Data是m行n列，SVD(奇异值分解)将Data分解为U,E,V^T 三个矩阵：

Data_m*n=U_m*kE_k*kV^T_k*n

E是一个对角矩阵，对角元素为奇异值，对应Data的奇异值，即Data*Data^T特征值的平方

2.选取特征

下面确定选取哪几维特征实现降维，去除噪声和冗余信息，用低维数据集表示原数据集。

典型做法是保留矩阵90%能量信息，公式如下，先选一个值h:

奇异阵的平方 sig=E^TE

如果奇异阵的平方中前i项的和大于奇异阵的平方总和，即sum(sig[:h]) > sum(sig)*0.9，就可以把原矩阵转换成一个h维的矩阵，新矩阵具体为：

newData_m*n=Data^T_m*n * U[:,:h]_m*h * E^-1_h*h

3.python实现

numpy中线性代数工具箱linalg包的svd方法可方便得到奇异阵E。另，linalg包的norm方法可用于计算范数。

SVD一些典型应用如推荐系统，06年的Netflix大赛即使用SVD。