神经网络的 batch normalition

https://blog.csdn.net/meanme/article/details/48679785

1:背景
由于在训练神经网络的过程中,每一层的 params是不断更新的,由于params的更新会导致下一层输入的分布情况发生改变,所以这就要求我们进行权重初始化,减小学习率。这个现象就叫做internal covariate shift。

2:idea思想
虽然可以通过whitening来加速收敛,但是需要的计算资源会很大。
而Batch Normalizationn的思想则是对于每一组batch,在网络的每一层中,分feature对输入进行normalization,对各个feature分别normalization,即对网络中每一层的单个神经元输入,计算均值和方差后,再进行normalization。
对于CNN来说normalize “Wx+b”而非 “x”,也可以忽略掉b,即normalize “Wx”,而计算均值和方差的时候,是在feature map的基础上(原来是每一个feature)

3:算法流程(对network进行normalize)

神经网络的 batch normalition

上一篇:pytorch transforms.Lambda的使用


下一篇:normalize.css介绍和使用,normalize与CSS Reset的区别