【数学建模】day10-主成分分析

0.

关于主成分分析的详细理解以及理论推导,这篇blog中讲的很清楚。

主成分分析是一种常用手段。这应该与因子分析等区别开来,重点在于理解主成分分析的作用以及什么情况下使用主成分分析,本文重点讲解如何使用PCA。

1.

主成分分析是一种降维方法。

实际上这个降维是这样做的:原始变量有m维,PCA主成分变量有t维(t<m),那么就相当于把这m维分别往t维上投影。

例如我们要做回归分析,如果自变量众多,彼此之间又具有复杂的相关性,那么我们考虑对自变量个数进行“减少”。而这个减少不能够丢失有效信息,由此可以使用主成分分析。

主成分分析的主要思想是,对原始众多自变量进行【线性组合】(这其实是向PCA方向投影的过程),从而得到新的PCA变量(个数通常比原始变量少)。对于每一个新变量,其线性组合的系数向量叫该主成分的方向(重点在于如何得到这个PCA方向);不同主成分的方向是正交的,从而保证新的变量彼此不相关,消除了糅合性。

具体来说,是:

原始变量Xi(i = 1,2,…p),主成分变量Z(z = 1,2…p),则:

【数学建模】day10-主成分分析

其中,要求满足:

【数学建模】day10-主成分分析

注意:

  1)主成分分析的结果受量纲的影响,由于各变量的单位可能不一样,如果各自改 变量纲,结果会不一样,这是主成分分析的大问题,回归分析是不存在这种情况的, 所以实际中可以先把各变量的数据标准化,然后使用协方差矩阵或相关系数矩阵进行分析。(相关系数就是标准化变量的协方差

  2)使方差达到大的主成分分析不用转轴(由于统计软件常把主成分分析和因子 分析放在一起,后者往往需要转轴,使用时应注意)。

  3)主成分的保留。用相关系数矩阵求主成分时,Kaiser主张将特征值小于1的主成 分予以放弃(这也是SPSS软件的默认值)。

  4)在实际研究中,由于主成分的目的是为了降维,减少变量的个数,故一般选取 少量的主成分(不超过5或6个),只要它们能解释变异的70%~80%(称累积贡献率) 就行了。

2.

如何选取主成分?

或者说:重点在于找到主成分方向,因为有了PCA方向,把原始变量向PCA方向上投影就得新的PCA变量。

明确目的在于线性组合原始变量得到:

【数学建模】day10-主成分分析(z是向量)

在系数平方和为1下,使得z的方差最大。(这样就使得新的变量z1,z2…差异最大,就代表我们抓住了原始变量的大多数信息);同时,保证各个主成分变量的系数矩阵c两两正交(这代表我们使得新的变量彼此不糅合,不相关)。

简单推导:

设原始变量数据:

【数学建模】day10-主成分分析

(X称作设计阵)每列代表一个变量指标,每行是一组数据。

首先将X标准化。

设新变量z = c1x1 + c2x2 +… + cpxp;

系数向量C = (c1,c2,…cp).T

系数向量C就是主成分的方向。

目的在于使得原始变量X的每一行,在C的方向投影后,在C的方向上达到方差最大。也就是:

  Z = CX (Z是X向C投影)

  max E((Z-E(Z))‘* (Z-E(Z)))

这个求max可以经过变化,转换【具体看推导blog,仅仅使用PCA可以略过】为求max E((X - E(x))' * (X - E(X)))

由于X标准化了(归一化过),E(X) = 0;

从而变为 max E(X.T*X)

而X.T * X 是一个二次型的。

那么,最大值就在:这个矩阵X.T * X 的最大特征值λ对应的特征向量c = [c1,c2...cp]处取得。

c还要经过单位化处理。

也就是说,这就得到了第一主成分的方向c;把X向c上投影得到了第一主成分Z1.

而这个半正定矩阵X.T *X的不同特征向量是正交的,从而把第二特征向量作为第二主成分的方向。

以此类推。

这里,X标准化后,X.T*X / (n-1)实际上是原始变量x1,x2…xp的相关系数矩阵。(协方差矩阵)

求解时,实际上是计算这个相关系数矩阵。

3.

PCA步骤:

  1. 列出设计阵X,将X标准化处理。

  2. 求相关系数矩阵R(标准化后,这也就是协方差矩阵)。这里要知道,这个R可以用:

X.T*X / (n-1)求得。也可以使用MATLAB求相关系数矩阵命令。

  3. 求R的特征值(从大到小排列),以及对应的单位标准正交特征向量。

  3. 从特征值大到小选择PCA变量:先选取最大的特征值以及其特征向量,从而构成第一个主成分变量,这个特征向量就是PCA方向。计算累计贡献率:已选取的特征值之和占所有特征值之和的比重。

  4. 重复步骤3,直到累计贡献率达标或者选取了足够的PCA变量。

  5. 单纯考虑累积贡献率有时是不够的,还需要考虑选择的主成分对原始变量的贡献 值,我们用相关系数的平方和来表示.如果选取的主成分为 z1,z2,…zr ,则它们对原 变量 xi 的贡献值为:

          pi = ∑ (r(zj,xi))^2;(注1)

     (即每一个主成分变量与xi的相关系数平方的和。)

  6. 进而我们可以用主成分变量对问题做出其他分析(如回归分析等)。

注1:两个向量的相关系数就是两向量夹角的余弦,展开来说就是:

【数学建模】day10-主成分分析

4.

一个例子:

【数学建模】day10-主成分分析

【数学建模】day10-主成分分析

【数学建模】day10-主成分分析

 

5.

MATLAB实现

函数使用:

1. 求矩阵X列向量间的相关系数矩阵:

r = corrcoef(X)

param:

  X:这个矩阵X的每一列看做一个向量

return:

  r: 相关系数矩阵。返回每两列之间的相关系数组成的矩阵,对称阵,对角为方差,一个向量的方差就是对向量的每个数求var。

  注意使用时不必对设计阵做标准化处理。因为我们实际要求的是标准化变量的协方差矩阵,而就是原设计阵的相关系数矩阵。

2. matlab做PCA分析

[vec1,lamda,rate] = pcacov(r)

param:

  r:原始数据的相关系数矩阵

return:

  vec1: r的特征向量

  lamda: 对应的特征值

  rate: 各个主成分的贡献率

3. 累计求和函数cumsum

y = cumsum(x,axis)

对x矩阵累计求和

param:

  axis:轴,axis = 1则对列向量累计求和

  axis = 2则对行向量累计求和

return:

  y: 累和矩阵

4. 标准化化处理函数

y = zccore(x)

param:

  x: 矩阵或者向量,标准化处理,若是矩阵,是对列向量标准化处理

return:

  y: 处理后的矩阵或者向量

5. 主成分分析做线性回归最小二乘估计函数

[c,s,t] = princomp(x)

param:

  x是设计阵

return:

  c:  对主成分变量做多元线性回归分析,回归方程的系数

  s:  这个是做主成分分析得到的特征向量矩阵,每一列是一个特征向量(单位化)

  t:相应的特征值

应用主成分分析+回归分析案例:

【数学建模】day10-主成分分析

【数学建模】day10-主成分分析

分别做主成分回归以及原始变量直接回归。

数据保存:

data.txt

    78.5
74.3
104.3
87.6
95.9
109.2
102.7
72.5
93.1
115.9
83.8
113.3
109.4

matlab求解如下:

(注:也可以直接用princomp函数,更简单,下面使用标准的pcacov函数)

 clc,clear
load data.txt %导入数据
[m,n] = size(data);
x0 = data(:,[:n-]);
y0 = data(:,n);
hg1 = [ones(m,),x0] \ y0; %普通多元线性回归系数.列向量
hg1 = hg1' %显示
fprintf('y = % f',hg1());
for i = :n
if hg1(i) >
fprintf('+ % f*x% d',hg1(i),i-);
else
fprintf('% f*x% d',hg1(i),i-);
end
end fprintf('\n');
r = corrcoef(x0) %相关系数矩阵
xd = zscore(x0);
yd = zscore(y0); %标准化处理
[vec1,lamda,rate] = pcacov(r) %PCA
f = repmat(sign(sum(vec1)),size(vec1,),);
%产生与vec1同维数的元素为+/-1的矩阵
vec2 = vec1.*f %修改特征值正负号,使得特征值的所有分量和为+
contr = cumsum(rate) %计算累计贡献率
df = xd * vec2; %计算所有主成分的得分
num = input('请输入主成分个数:')
hg21 = df(:,[:num]) \ yd %主成分变量回归系数
hg22 = vec2(:,:num) * hg21 %标准化变量的回归系数
hg23 = [mean(y0) - std(y0)*mean(x0)./std(x0)*hg22,std(y0)*hg22'./std(x0)]
% 转换,求原始变量的回归方程系数 fprintf('y = % f',hg23());
for i = :n
if hg23(i) >
fprintf('+ % f*x% d',hg23(i),i-);
else
fprintf('% f*x% d',hg23(i),i-);
end
end
fprintf('\n')
%下面计算两种回归分析的剩余标准差
rmse1=sqrt(sum((x0*hg1(:end)'+hg1(1)-y0).^2)/(m-n))
rmse2=sqrt(sum((x0*hg23(:end)'+hg23(1)-y0).^2)/(m-num))

结果如下:

相关系数矩阵:

【数学建模】day10-主成分分析

PCA分析得到的:特征值、特征向量、贡献率等结果:

【数学建模】day10-主成分分析

做代码所示处理后的特征向量:

【数学建模】day10-主成分分析

累计贡献率:

【数学建模】day10-主成分分析

可以看到,最后一个变量几乎没有贡献,使用前三个PCA成分得到:(其实两个也可以)

【数学建模】day10-主成分分析

其中,hg21是主成分变量回归系数、hg22是标准化X的回归系数(没有常数项),hg23是原始X的回归系数(第一个是常数项)

从而,PCA后的结果为:

【数学建模】day10-主成分分析

而在原始变量上直接做回归分析的结果为:

【数学建模】day10-主成分分析

代码中还计算了两个剩余标准差:

【数学建模】day10-主成分分析

可见,PCA后再回归的剩余标准差要小,效果更好,这也证明了使用PCA是有效的。

上一篇:Microsoft SQL Server Management Studio ------------------------------ 附加数据库 对于 服务器


下一篇:BZOJ 1800 fly-飞行棋