卷积神经网络其实早在80年代，就被神经网络泰斗Lecun 提出[LeNet-5, LeCun 1980]，但是由于当时的数据量、计算力等问题，没有得到广泛使用。

卷积神经网络的灵感来自50年代的诺贝尔生物学奖。Hubel & Wiesel, 1959，猫负责视觉的大脑区域，对于细小的线段感兴趣（而不是鱼），这个区域离眼睛远（而不是近）。

1.卷积层 Convolutional Layer

卷积层中有filter，在image空间中不断滑动，进行点乘dot

filter 的dot的结果是一个数值，经过滑动dot，就会形成一个比原先照片小的层，厚度为1

filter可以有很多个，我们以6个filter为例

2.卷积过程 Convolutional Process

卷积的过程，就是一系列的卷积层的组合：

每一层提取的feature 从low lever，mid level，high level 到可以分类的级别

这里是一个图片分类的过程：

3.卷积计算 Convolutional Compute

（1）activation map 大小的计算 以7*7大小的图片为例

（2）zero padding

zero padding 可以保持图片卷积后的大小

（3）计算

举例：输入图片是32x32x3 有10个5x5的filter ，stride 是1 ，pad 2

输出的大小？ 参数的多少？

Output volume size: (32+2*2-5)/1+1 = 32 spatially, so 32x32x10

Number of parameters in this layer? each filter has 553 + 1 = 76 params => 76*10 = 760

（4）总结