机器学习——降维(主成分分析PCA、线性判别分析LDA、奇异值分解SVD、局部线性嵌入LLE)
以下资料并非本人原创,因为觉得石头写的好,所以才转发备忘
(主成分分析(PCA)原理总结)[https://mp.weixin.qq.com/s/XuXK4inb9Yi-4ELCe_i0EA]
来源: 石头 机器学习算法那些事 3月1日
主成分分析(Principal components analysis,以下简称PCA)是最常用的降维方法之一,在数据压缩和消除冗余方面具有广泛的应用,本文由浅入深的对其降维原理进行了详细总结。
目录
1.向量投影和矩阵投影的含义
- 向量降维和矩阵降维的含义
- 基向量选择算法
- 基向量个数的确定
- 中心化的作用
- PCA算法流程
- PCA算法总结
(线性判别分析(LDA)原理总结)[https://mp.weixin.qq.com/s/7H5-piL6ywHXgoxTXvJnNA]
来源: 石头 机器学习算法那些事 3月1日
前言
线性判别分析(Linear Discriminant Analysis,以下简称LDA)是有监督的降维方法,在模式识别和机器学习领域中常用来降维。PCA是基于最大投影方差或最小投影距离的降维方法,LDA是基于最佳分类方案的降维方法,本文对其原理进行了详细总结。
目录
- PCA与LDA降维原理对比
- 二类LDA算法推导
- 多类LDA算法推导
- LDA算法流程
- 正态性假设
- LDA分类算法
- LDA小结
(奇异值分解(SVD)原理总结)[https://mp.weixin.qq.com/s/ESl7TxxfuYzjscyfJWLisw]
来源: 石头 机器学习算法那些事 3月1日
前言
奇异值分解(SVD)在降维,数据压缩,推荐系统等有广泛的应用,任何矩阵都可以进行奇异值分解,本文通过正交变换不改变基向量间的夹角循序渐进的推导SVD算法,以及用协方差含义去理解行降维和列降维,最后介绍了SVD的数据压缩原理 。
目录
- 正交变换
- 特征值分解含义
- 奇异值分解
- 奇异值分解例子
- 行降维和列降维
- 数据压缩
- SVD总结
局部线性嵌入(LLE)原理总结
来源: 石头 机器学习算法那些事 3月1日
相关文章推荐:
主成分分析(PCA)原理总结
奇异值分解(SVD)原理总结
scikit-learn中PCA的使用方法
LLE参考资料下载:
链接:
https://pan.baidu.com/s/1Ht01oCGpUjL7rCX5bAhnYg
提取码: 62wq
LLE是一种非监督式的降维方法,与PCA降维方法相比,LLE降维后保持了初始样本间的局部关系。PCA是基于投影的最大方差的线性投影,在介绍LLE原理之前,我们首先用几张图看看PCA的降维效果:
目录
- LLE算法原理
- LLE算法推导
- LLE算法流程
4. K近邻空间大于输入数据的维数D的情况分析 - 小结
视频资料
(白板推导系列,数学原理了然于胸)[https://www.bilibili.com/video/av32709936/?p=3&t=291]
(资料推荐系列)[https://www.bilibili.com/video/av31971102]