Task2

回归定义：Regression 就是找到一个函数 function，通过输入特征 x，输出一个数值 。

按步骤来

第一步：函数集（model模型）

线性模型：注意区别单特征和多特征的线性模型

y=b+w✖Xcp y=b+∑wi✖xi

第二步：优化

给定数据集，点集

如何判断众多模型的好坏呢？损失函数：loss function L

损失函数：loss function L 其实是一个函数的函数，它的输入是一个函数，输出是模型的好坏程度。因为function是由w,b决定的，所以 L( f )=L（w,b），所以也可以理解为在衡量一组参数的好坏

第三步：从function set中选出最优的，找参数，使得损失函数L( f )最小

梯度下降找参数

以单特征为例，对该特征求导，学习率这个概念，代表步长，所以下降速度取决于导数和学习率的乘积，单参数w = w - 该乘积，不断迭代，会到达局部最优，多特征同样用学习率和偏导同步更新参数w、b

我们对参数选取不同的初始值似乎会到达不同的损失函数的局部最优，可能还不是全局最优，但在线性回归中不必担心，损失函数L没有局部最优，只有全局最优

下降到最优处时得到最终的w,b，带入模型，得到一条直线，用模型去泛化，预测其他数据，还行，但拟合的不是特别理想，我们想到用二次模型，或多次模型，引入二次项，可能拟合的更理想，注意最终还是线性模型，因为将二次项还是视作一个特征，图形可视化为一条曲线

注意本质：任何函数都能用多项式函数逼近表示

当我们引入太高次的项，使用更高次模型时，可能训练数据会拟合的越来越完美，但泛化能力可能变差，拟合测试数据不理想，出现了过拟合，所以模型并不是越复杂越好

有些特征隐藏的比较深，但该特征不同时，其训练数据差异很大

此时若想优化，则引入更多的的参数，更多的input，但在测试集上表现得更差了，仍然过拟合了，咋办呢？删除一些特征？正则化！

正则化：更多特征，但是参数表示得权重 w 可能会使某些特征权值过高，仍旧导致过拟合，所以加入正则化，原来代价函数后面加上一项，该项只考虑w，不包含偏执参数b会比较好，正则项前的λ越大，曲线越越平滑，但不一定越平滑泛化能力越好，需要我们手动调整λ来测试

• w 越小，表示 function 较平滑的， function输出值与输入值相差不大
• 在很多应用场景中，并不是 w 越小模型越平滑越好，但是经验值告诉我们 w 越小大部分情况下都是好的。
• b的值接近于0 ，对曲线平滑是没有影响