本节为ML/DL-复习笔记【一】数学基础（线性代数、概率论、数值分析），主要内容包括：矩阵特征向量的求解、主成分分析、奇异值分解、线性方程组的解法、Moore_Penrose伪逆、概率计算公式、随机变量的常见分布类型。
1. 主成分分析和奇异值分解
线性代数【七】特征值、特征向量 https://blog.csdn.net/kevin_zhao_zl/article/details/106427712
机器学习课程笔记【十二】- 主成分分析 https://blog.csdn.net/kevin_zhao_zl/article/details/105820009
2. Moore_Penrose伪逆
线性代数【六】：解线性方程组 https://blog.csdn.net/kevin_zhao_zl/article/details/106390322
求解线性方程组时，若系数矩阵的行数大于列数，那么方程可能无解，若系数矩阵行数小于列数，方程可能有多个解。
Moore-Penrose伪逆正是为处理这个问题，矩阵
A
A
A的伪逆的形式化定义如下：
A
+
=
l
i
m
α
→
0
(
A
T
A
+
α
I
)
−
1
A
T
A^+=lim_{\alpha \rightarrow 0}(A^TA+\alpha I)^{-1}A^T
A+=limα→0(ATA+αI)−1AT
但实际计算中，一般取：
A
+
=
V
D
+
U
T
A^+=VD^+U^T
A+=VD+UT
其中，矩阵
U
,
D
,
V
U,D,V
U,D,V是矩阵
A
A
A进行奇异值分解之后得到的矩阵。对角矩阵
D
D
D的伪逆
D
+
D^+
D+是其非零元素取倒数之后再转置得到的。
这样，当系数矩阵
A
A
A的列数多于行数时，使用伪逆求解线性方程是众多可能解法中的一种，且
x
=
A
+
y
x=A^+y
x=A+y是方程所有可行解中欧几里得范数
∣
∣
x
∣
∣
2
||x||_2
∣∣x∣∣2最小的一个；当系数矩阵
A
A
A的行数多于列数时，可能没有解，这时通过伪逆得到的x使得
A
x
Ax
Ax和
y
y
y的欧几里得距离
∣
∣
A
x
−
y
∣
∣
2
||Ax-y||_2
∣∣Ax−y∣∣2最小。
3. 求概率公式以及常见随机变量的分布
4. 病态条件
数值分析(1)-绪论:误差 https://blog.csdn.net/kevin_zhao_zl/article/details/90399855
欢迎扫描二维码关注微信公众号 深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]