贝叶斯先验解释l1正则和l2正则区别

这里讨论机器学习中L1正则和L2正则的区别。

在线性回归中我们最终的loss function如下:

贝叶斯先验解释l1正则和l2正则区别

那么如果我们为w增加一个高斯先验,假设这个先验分布是协方差为 贝叶斯先验解释l1正则和l2正则区别 的零均值高斯先验。我们在进行最大似然:

贝叶斯先验解释l1正则和l2正则区别

贝叶斯先验解释l1正则和l2正则区别

这个东西不就是我们说的加了L2正则的loss function吗?

同理我们如果为w加上拉普拉斯先验,就可以求出最后的loss function也就是我们平时说的加了L1正则:

贝叶斯先验解释l1正则和l2正则区别

因为拉普拉斯的分布相比高斯要更陡峭,它们的分布类似下图,红色表示拉普拉斯,黑色表示高斯

贝叶斯先验解释l1正则和l2正则区别

可以看出拉普拉斯的小w的数目要比高斯的多,w的分布陡峭,而高斯的w分布较为均匀。也就是说,l1正则化更容易获得稀疏解,还可以挑选重要特征。l2正则有均匀化w的作用。

上一篇:Linux rename命令


下一篇:L1 正则 和 L2 正则的区别