6. LDA

思想：LDA是一种监督学习的(线性)降维技术，即数据集中每个样本都有类别标签，这点和PCA不同。PCA是不考虑样本类别标签的无监督(线性)降维技术。LDA的主要思想就是“投影后类内方差最小，类间方差最大”。即，将数据在低维度上进行投影，投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心之间的距离尽可能的大。

 

区别：

1）LDA是有监督的降维方法，而PCA是无监督的降维方法

2）LDA降维最多降到类别数k-1的维数，而PCA没有这个限制。

3）LDA除了可以用于降维，还可以用于分类。

4）LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。

 

适用于样本有类别标签、样本分布服从高斯分布、样本分类信息依赖于均值而不是方差的情况。

 

基于的假设和不足之处：

1）每一类都是单模态的高斯分布。

2）每一类的协方差矩阵都相同。

3）降维维数不能超过类别数k-1

无法处理多模态高斯分布，每一类协方差矩阵不同的情形；当降维维数大于类别数k-1时，LDA无法使用。