数据计算和结果展示一直是数据挖掘领域的难点，一般情况下，数据都拥有超过三维，维数越多，处理上就越吃力。所以，采用降维技术对数据进行简化一直是数据挖掘工作者感兴趣的方向。
对数据进行简化的好处：使得数据集更易于使用，降低算法的计算开销，去除噪声，使得结果易懂。
主成分分析法（PCA）是一种常用的降维技术。在PCA中，数据从原来的坐标系转换到了新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴的选择和第一个坐标轴正交且具有最大方差的方向。
为什么选择最大方差的方向和方差的正交方向？
如果想要画出一条直线，使得直线要尽可能多的覆盖坐标轴中的点，在下图中的三条直线中，B直线为最大方差代表的直线，说明覆盖数据信息最多，C直线为B直线的垂线，它是覆盖数据次大差异性的直线。
PCA的优点：降低数据的复杂性，识别最重要的多个特征。
PCA的原理：借助于正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量。这在代数上表现为将原随机向量的协方差矩阵变换为对角形阵。
PCA的实现：通过对协方差矩阵进行特征分解，以得出数据的主成分（即特征向量）和权值（即特征值）
将原始数据转换成前N个主成分的具体实现步骤：
1.去除平均值
2.计算协方差矩阵
3.计算协方差矩阵的特征值和特征向量
4.将特征值从大到小排序
5.保留最上面的N个特征向量
6.将数据转换到上述N个特征向量构建的新空间中
代码实现
def PCA(dataMatrix, topNFeature=999):
meanVals = mean(dataMatrix, axis=0)
meanRemovedMatrix = dataMatrix - meanVals #1. remove mean covMat = cov(meanRemovedMatrix, rowvar=0) #2. covariance matrix
eigVals,eigVects = linalg.eig(mat(covMat)) #3. compute matrix eigenvalues and eigenvectors
eigValInd = argsort(eigVals) #4. sort, sort goes smallest to largest
eigValInd = eigValInd[:-(topNFeature+1):-1] #5_1 cut off unwanted dimensions
redEigVects = eigVects[:,eigValInd] #5_2 reorganize eig vects largest to smallest
lowDDataMat = meanRemovedMatrix * redEigVects #6 transform data into new dimensions
return lowDDataMat