[comment]: # 机器学习实战 - 读书笔记(13) - 利用PCA来简化数据
前言
最近在看Peter Harrington写的“机器学习实战”，这是我的学习心得，这次是第13章 - 利用PCA来简化数据。
这里介绍，机器学习中的降维技术，可简化样品数据。
降维技术的用途
- 使得数据集更易使用；
- 降低很多算法的计算开销；
- 去除噪声；
- 使得结果易懂。
基本概念
降维（dimensionality reduction）。
如果样本数据的特征维度很大，会使得难以分析和理解。我们可以通过降维技术减少维度。
降维技术并不是将影响少的特征去掉，而是将样本数据集转换成一个低维度的数据集。协方差（covariance）
协方差用于衡量两个变量的总体误差.协方差矩阵（covariance matrix）
对于一个N维的样品数据，\(X=[x_1, x_2, ..., x_n]^T\)，其协方差矩阵是一个n * n的matrix，
元素\(C_{ij}\)是\(x_i\)和\(x_j\)的协方差。协方差矩阵的特征值(Eigenvalues)和特征向量(eigenvectors)
特征值：表示特征向量对应列的权重，越大说明特征向量对应列的影响越大。
特征向量：是一个n * n 的matrix，n是样本数据的特征数。用于降维转换。
降维转换过程：
在特征向量中，选出特征值最大的m列，形成一个m * n的降维向量矩阵。
对（去除平均值的）样本数据的每行数据，和降维矩阵相乘，得到一个m维的**降维数据**。
重构的数据 = **降维数据** * **降维矩阵的转置** + 平均值
核心算法解释
主成分分析（Principal Component Analysis，PCA）
- 基本原理
线性代数的理论：- 对一个n维的样本数据，通过其协方差矩阵，可以计算出特征值和特征向量。
- 选择特征值最大的前m项，可以将样本数据和特征向量进行计算，得到一个m维的降维数据集。
- 输入
- 数据集
- 应用的Feature数
- 输出
- 降维数据集
- 重构的数据集（可用于与原数据集比较）
- 逻辑过程
对数据集的每个Feature的数据，减去Feature的平均值。
计算协方差矩阵
计算协方差矩阵的特征值和特征向量
将特征值从大到小排序
保留最上面的N个特征向量
使用前面提到的降维转换过程，转换数据集为降维数据集和重构的数据集
核心公式
协方差（covariance）
协方差用于衡量两个变量的总体误差.
\[\begin{align}
cov(X, Y) & = E[(X-E(X))(Y-E(Y))] \\
& = E[XY] - E[X]E[Y]
\end{align} \\
where \\
\qquad E(X): mean(X)
\]
cov(X, Y) & = E[(X-E(X))(Y-E(Y))] \\
& = E[XY] - E[X]E[Y]
\end{align} \\
where \\
\qquad E(X): mean(X)
\]
Matrix乘法运算
\[a * b = [a_{11}b_{11} + a_{12}b_{21} + ... + a_{1n}b_{n1}, ..., a_{11}b_{1m} + a_{12}b_{2m} + ... + a_{1n}b_{nm}] \\
a * b^T = [a_{11}b_{11} + a_{12}b_{12} + ... + a_{1n}b_{1n}, ..., a_{11}b_{1m} + a_{12}b_{2m} + ... + a_{1n}b_{nm}] \\
where \\
\qquad \text{a: a is a n-dimensions vector.} \\
\qquad \text{b: b is a m * n of matrix）.}
\]
a * b^T = [a_{11}b_{11} + a_{12}b_{12} + ... + a_{1n}b_{1n}, ..., a_{11}b_{1m} + a_{12}b_{2m} + ... + a_{1n}b_{nm}] \\
where \\
\qquad \text{a: a is a n-dimensions vector.} \\
\qquad \text{b: b is a m * n of matrix）.}
\]
参考
- Machine Learning in Action by Peter Harrington
- Covariance
- numpy.cov
- Eigenvalues and eigenvectors