tdo 2021-09-03 17:41:53

2021-09-06 11:12:52

regularization

减少 overfitting 的程度

去除一些 复杂性

最重要的，惩罚 那些 过于 大 的 weights

如何实现 正则化

通过 给 我们的 loss 函数 增加 一个 x 项；

常见的 正则化

L2 正则化

λ \lambda λ 也是我们 的 超参数

为什么 设置 一个 正则化，会 对我们有帮助

记住，x 是我们的 正则化 项，如果 我们 设定的 λ \lambda λ 是个 相对 比较 大的数字，那么 整个 loss 加上 x 就是 比较 大。

我们的 object function 就是要 最小化 loss ，于是 ，在 反向传播的过程中，我们会 注意到 loss 的成分里面 实际上 是 有 L2 正则化 里面 的 ∣ ∣ w [ j ] ∣ ∣ 2 {||w^{[j]}||}^2 ∣∣w[j]∣∣2 这个东西，也就是 weight 这个东西

如果 想要 降低 losss 就会 降低 weight ，以至于 甚至能 zero out 某 一层 的 所有 weights：

如何 在 keras 里面 实现 正则化

首先，前置：

就是这样了：

参考：

https://www.youtube.com/watch?v=iuJgyiS7BKM&list=PLZbbT5o_s2xq7LwI2y8_QtvuXZedL6tQU&index=35