AlexNet： AlexNet相比传统的CNN，主要改动包括Data Augmentation（数据增强）、Dropout方法，激活函数用ReLU代替了传统的Tanh或者Siigmoid、采用了Local Response Normalization（LRN，实际就是利用临近的像素数据做归一化，（现在基本不用了））、Overlapping Pooling（有重叠，即Pooling的步长比Pooling Kernel的对应边要小）、多GPU并行。
       VGGNet： VGG很好地继承了AlexNet的特点，同时采用了更小的卷积核（3*3）堆叠来代替大的卷积核，并且网络更深（VGG-16，VGG-19）。
       GoogLeNet： 网络更深，但主要创新点在于它的Inception模块，这是一个网中网（Network In Nework）的结构，即原来的节点也是一个网络。相比于前述几个网络，用了Inception之后整个网络结构的宽度和深度都可扩大，能够带来2~3倍的性能提升。
       ResNet： ResNet在网络深度上有了进一步探索。但主要的创新在于残差模块（residual block），网络提出本质上还是要解决增大网络深度导致难以收敛的问题。这种借鉴了Highway Network思想的网络相当于旁边专门开个通道使得输入可以直达输出，而优化的目标由原来的拟合输出H(x)变成输出和输入的差H(x) - x，其中H(x)是某一层原始的期望映射输出，x是输入。