在当今深度网络的发展趋势中,提升网络的宽度和深度已经是常规操作,能够解决过拟合的同时带来了大量参数的问题,所以减少计算参数也是必要的。在很多网络中,都使用了3个3x3卷积核来代替7x7卷积核,使用了2个3x3卷积核来代替5x5卷积核,这样做的主要目的是:(1)保证具有相同感知野的条件下,提升了网络的深度,在一定程度上提升了神经网络的效果;(2)减少计算参数量。
以下简单地说明一下小卷积(3*3)对于5×5网络感知野相同的替代性。
如图所示:
直观计算参考:
https://blog.csdn.net/m0_37997973/article/details/82457911
接下来说明一下减少参数的作用。
对于两个3x3卷积核,所用的参数总量为2x(3x3)xchannels, 对于5x5卷积核为5x5xchannels, 因此可以显著地减少参数的数量,可以减少大约30%的参数数量。
</div>
<link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-e44c3c0e64.css" rel="stylesheet">
</div>