目录

一、Normal equation - 正规方程:

1.梯度下降法：

2.正规方程法：

3.梯度下降和正规方程的选择：

二、正规方程和不可逆性 - Normal equation and non-invertibility:

---

一、Normal equation - 正规方程:

1.梯度下降法：

 Normal equation: Method to solve for  analytically.

2.正规方程法：

通过下面这个方程就可以得到最小的  值：

对于特征值，不需要进行特征缩放！

3.梯度下降和正规方程的选择：

---

二、正规方程和不可逆性 - Normal equation and non-invertibility:

有时候XTX是不可逆的（奇异矩阵）。
造成不可逆的原因通常是以下两个：

• 有冗余特征： 有两个特征之间存在着一定联系，比如一个单位x1是米，另一个x2单位是千米，但表示的是同一个特征，这时候这两个特征之间存在着关系x2=x1。 根据线性代数的知识， 线形相关的矩阵不可逆的。
• 特征数n>训练集数m