机器学习的步骤主要分为三步：找模型——评估模型——找到最好的模型
找模型
假设采用线性模型\(y=b+\sum w_{i} x_{i}\)，\(x_i\)是输入的各种attribute被称为feature
评估模型
知道模型是否好坏需要定义Loss function，来衡量一组参数的好坏
\[\mathrm{L}(w, b)=\sum_{n=1}^{10}\left(\hat{y}^{n}-\left(b+w \cdot x_{c p}^{n}\right)\right)^{2}
\]
找到最好的模型
\[\begin{aligned}
&f^{*}=\arg \min _{f} L(f) \&w^{*}, b^{*}=\arg \min _{w, b} L(w, b) \&\quad=\arg \min _{w, b} \sum_{n=1}^{10}\left(\hat{y}^{n}-\left(b+w \cdot x_{c p}^{n}\right)\right)^{2}
\end{aligned}
\]
其中arg表示取自变量（输入）
Gradient Descent的适用前提是函数可微分，Gradient Descent的解决步骤：
- 随机选取一个初始值\(W^0\)
- 计算函数在\(W^0\)处的微分值（函数为凸函数），\(w^{1} \leftarrow w^{0}-\left.\eta \frac{d L}{d w}\right|_{w=w^{0}}\)（\(\eta\)是学习率，learning rate）
- 微分值为负，需要增加自变量的取值
- 微分值为正，需要减小自变量的取值
- 计算函数在\(W^1\)处的微分值，重复上述步骤直到微分值为0
复杂的model在train data上可以得到更好的结果，但不一定在testing data上得到更好的效果，这种现象就是Overfitting
Regularization
解决过拟合问题，修改Loss function为\(L=\sum_{n}\left(\hat{y}^{n}-\left(b+\sum w_{i} x_{i}\right)\right)^{2} {+\lambda \sum\left(w_{i}\right)^{2}}\)
期望输出的参数越接近0，输出对输入改变越不灵敏，Loss function越平滑