PCA推导中矩阵约束下的拉格朗日乘子

(一)前言

在仔细看PCA推导$^{[1]}$的过程中,一开始进行的非常顺利,但后来被一个求极值的式子卡住,而且这个问题正是为什么取最大$n'$个特征值原因的关键,一卡就是一天,实在是太弱鸡了。。。后来各种找资料,结果西瓜书上写地更简略,只说了利用拉格朗日乘子算得结果,但是在找西瓜书资料的过程中,发现了$github$上有一个“南瓜书”$^{[2]}$的项目,里面大神非常详细地写了完整的推导过程,核心的思想主要来自于$StackExchange$网站上的一个提问$^{[3]}$,其根本上的式子来源是经典的凸优化教程$^{[4]}$的$5.9$节,过程真实蜿蜒曲折(滑稽。话不多说,赶紧开始搬运推导!

(二)过程

  • 引理:
  • 问题:设$X\in n×m,W\in n×p$,求$ \mathdrop{\argmax}_{c}$
上一篇:数据降维方法


下一篇:9、主成分分析