主成分分析 Principal Component Analysis
- 一个非监督的机器学习算法
- 主要用于数据的
降维
- 通过降维,可以发现更便于人类理解的特征
- 其他应用:可视化;去噪
样本间距大,区分度就更佳明显
问题:如何找到让样本间间距最大的轴?
如何定义样本间距?---- 使用方差(Varience)
方差表达式:
$ Var(x) = \frac{1}{m} \sum^m_{i=1}(x_i - \overline{x})^2 $
- 将样例的均值为0 (demean)
样本分布没有改变,只是坐标轴位置移动;这样样本在每个维度均值都为 0。
\(x_i\) 是已经映射到新的坐标轴的值,这个轴只有两个维度,此处这个轴的方向记为 \(w = (w_1, w_2)\);使得所有的样本,映射到 w 以后,方差值最大:
$Var(X_{project}) = \frac{1}{m} \sum^m_{i=1}( X^{(i)}{project} - \overline{X}{project} )^2 $
可写为:
$Var(X_{project}) = \frac{1}{m} \sum^m_{i=1} || X^{(i)}{project} - \overline{X}{project} ||^2 $
由于已经进行了demean,实际上 \(\overline{X}_{project} = 0\),所以上式可写为
$Var(X_{project}) = \frac{1}{m} \sum^m_{i=1} || X^{(i)}_{project} ||^2 $
到此 降维问题 转化成了 一个目标函数的最优化问题,使用梯度上升法解决
求解
高维数据 的主成分
求出第一主成分以后,如何求出下一个主成分?
数据进行改变,将数据在第一个主成分上的分量去掉,在新的数据上求第一主成分。
高维向低维的映射
代码封装
import numpy as np
class PCA:
def __init__(self, n_components):
"""初始化PCA"""
assert n_components >= 1, "n_components must be valid"
self.n_components = n_components
self.components_ = None
def fit(self, X, eta=0.01, n_iters=1e4):
"""获得数据集X的前n个主成分"""
assert self.n_components <= X.shape[1], \
"n_components must not be greater than the feature number of X"
def demean(X):
return X - np.mean(X, axis=0)
def f(w, X):
return np.sum((X.dot(w) ** 2)) / len(X)
def df(w, X):
return X.T.dot(X.dot(w)) * 2. / len(X)
def direction(w):
return w / np.linalg.norm(w)
def first_component(X, initial_w, eta=0.01, n_iters=1e4, epsilon=1e-8):
w = direction(initial_w)
cur_iter = 0
while cur_iter < n_iters:
gradient = df(w, X)
last_w = w
w = w + eta * gradient
w = direction(w)
if (abs(f(w, X) - f(last_w, X)) < epsilon):
break
cur_iter += 1
return w
X_pca = demean(X)
self.components_ = np.empty(shape=(self.n_components, X.shape[1]))
for i in range(self.n_components):
initial_w = np.random.random(X_pca.shape[1])
w = first_component(X_pca, initial_w, eta, n_iters)
self.components_[i,:] = w
X_pca = X_pca - X_pca.dot(w).reshape(-1, 1) * w
return self
def transform(self, X):
"""将给定的X,映射到各个主成分分量中"""
assert X.shape[1] == self.components_.shape[1]
return X.dot(self.components_.T)
def inverse_transform(self, X):
"""将给定的X,反向映射回原来的特征空间"""
assert X.shape[1] == self.components_.shape[0]
return X.dot(self.components_)
def __repr__(self):
return "PCA(n_components=%d)" % self.n_components