L1 正则 和 L2 正则的区别

L1,L2正则都可以看成是 条件限制,即

$\Vert w \Vert \leq c$

$\Vert w \Vert^2 \leq c$

当w为2维向量时,可以看到,它们限定的取值范围如下图:

L1 正则 和 L2 正则的区别

所以它们对模型的限定不同

而对于一般问题来说,L1 正则往往取到正方形的顶点,即会有很多分量为0,具有稀疏性,有特征选择的作用

上一篇:贝叶斯先验解释l1正则和l2正则区别


下一篇:Ubuntu 如何开启 SSH ?