正则化平滑

• w 越小，表示 function 较平滑的， function输出值与输入值相差不大
• 在很多应用场景中，并不是 w 越小模型越平滑越好，但是经验值告诉我们 w 越小大部分情况下都是好的。
• b 的值接近于0 ，对曲线平滑是没有影响

相当于对模型参数施加惩罚，压缩了参数的范围，限制了模型的复杂度，从而有助于缓解模型过拟合问题

误差、偏差、方差

准：bias描述的是根据样本拟合出的模型的输出预测结果的期望与样本真实结果的差距，简单讲，就是在样本上拟合的好不好。要想在bias上表现好，low bias，就得复杂化模型，增加模型的参数，但这样容易过拟合 (overfitting)，过拟合对应上图是high variance，点很分散。low bias对应就是点都打在靶心附近，所以瞄的是准的，但手不一定稳

确：varience描述的是样本上训练出来的模型在测试集上的表现，要想在variance上表现好，low varience，就要简化模型，减少模型的参数，但这样容易欠拟合(unfitting)，欠拟合对应上图是high bias，点偏离中心。low variance对应就是点都打的很集中，但不一定是靶心附近，手很稳，但是瞄的不准

• 比较简单的模型，方差是比较小的如果用了复杂的模型，方差就很大，散布比较开。
  这也是因为简单的模型受到不同训练集的影响是比较小的

模型方差较高时，增加样本会有帮助
模型偏差较高时，增加样本帮助不大

偏差很大，代表欠拟合；方差很大，代表过拟合

Accuracy（精度）、Precision（精准度）和Recall（召回率）

分类模型评估中常见的性能度量指标（performance measure）：Accuracy（精度）、Precision（精准度）和Recall（召回率）

• 对于不平衡的样本，Accuracy已经无法满足要求，例如：识别*、垃圾邮件，并不在乎精确度

Precision（精准度）和Recall（召回率），它们仅适用于二分类问题。

第一个字母表示预测的对不对、第二个字母表示预测的是正、负

• Precision从预测结果角度出发，描述了二分类器预测出来的正例结果中有多少是真实正例，即该二分类器预测的正例有多少是准确的；

• Recall从真实结果角度出发，描述了测试集中的真实正例有多少被二分类器挑选了出来，即真实的正例有多少被该二分类器召回。

一般来说，Precision越高时，Recall往往越低。

以Recall作为横轴，Precision作为纵轴可以得到Precision-Recall曲线图，简称为P-R图

• Precision和Recall往往是一对矛盾的性能度量指标；
• 提高Precision == 提高二分类器预测正例门槛 == 使得二分类器预测的正例尽可能是真实正例；
• 提高Recall == 降低二分类器预测正例门槛 == 使得二分类器尽可能将真实的正例挑选出来；
• P-R曲线下面的面积表征了二分类器在Precision和Recall这两方面的综合性能；

F1就是这两者的调和均值

ROC曲线 AUC面积

TPR 从真实情况出发 就是recall

生成 判别

• 生成模型 ：生成条件概率分布，朴素贝叶斯、隐马尔可夫模型
• 学习收敛速度更快、当样本容量更大时，学到的模型可以更快收敛于真实模型
• 隐变量存在时，可以用生成学习方法，判别方法不能用

判别模型：直接预测Y，大多数模型都是；直面预测，学习准确率更高，可以对数据定义、抽象使用特征，因此可以简化学习问题。