作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120732872
目录
第1章 全连接神经网络的缺点
1.1 什么是全连接网络
前面介绍的浅层神经网络以及用神经元搭建的网络都是全连接神经网络，那么什么是全连接神经神经网络呢？如下图所示：
全连接（FC）网络结构是最基本的神经网络/深度神经网络层.
全连接网络的组成单元是：神经元，每个神经元是一个多输入单输出的线性叠加单元Y=WX + B。
全连接网络的每一层，是有m个相互独立的神经元组成，神经元之间相互独立。
全连接网络的核心词是：“全连接”，其含义如下：
- 每个神经元的输入与所有的输入X1，X2.....Xn属性全相连, 一共有n + 1个连接，每个连接带有一个权重参数w，一共有n个w参数，另加一个每个神经元的b参数。
- 每个输入属性Xi与所有的神经元全相连，则每个输入有m个连接，即m个w或b的参数。
因此，n个输入，m个神经元，构成的全连接网络，一共有(n+1) * m个神经元参数。
假如：28*28*3的输入图片，第一个隐藏层使用64个神经元
那么这个隐藏层，包含的W，B的参数个数 =（28*28*3+1） * 64 = 150592，就这么一个 简单的全连接网络，就需要大于15万个参数。这才64个神经元，如果1万个神经元，输入的参数属性的个数达到1万个（64*64*3），则参数的个数高达122880000，大约1亿，如此庞大。
1.2 全连接网络的优点
- 网络结构简单
- 网络组成直观
- 能够比较简单的应对线性回归
- 根据已有的数据特性，能够很好地进行分类
1.3 全连接网络的缺点
- 网络的连接参数巨大，计算量巨大
- 网络的连接参数巨大，存储空间巨大
- 只能通过单纯地增加网络节点增加网络的功能
- 将图像展开为向量会丢失空间信息；
- 其次参数过多效率低下，训练困难；
- 同时大量的参数也很快会导致网络过拟合。
- 很难自动发现输入数据更抽象的特征，只粗暴的把原始的输入作为数据的特征，根据原始数据进行分类。
1.4 全连接的应用场景
- 根据相对较少的特征值进行分类
- 根据相对较少维度的输入数据进行归回拟合
第2章 卷积神经网络的出现
全连接网络进行分类的一个重要的前提条件就是输入特征较少，这样网络连接的参数才能得到极大的降低，计算效率和存储效率才能得到提升，因此迫切需要这么一个特征的网络：
- 内部的连接方式与参数个数
该网络中，在神经元的个数无法降低的情况下，神经网络的参数的个数要得到有效的控制，这样就不能采用全连接网络，而采用部分网络连接的网络。
- 网络的功能目标输出
该网络能够从原始数据的特征量（如64*64*3 ~=1万的图片像素点）中，抽象、提取、发掘出图片新的特征。
- 网络的输出个数
上述新特征的数据量要远比原始数据的数据量要小很多，如1千个。
符合上面的要求的卷积神经网络应运而生：
（1）卷积神经网络就出现在上图中的特征提取网络。
（2）全局神经网络的提取的特征数据，提供给全连接网络，进行分类和线性回归。
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客
本文网址：https://blog.csdn.net/HiWangWenBing/article/details/120732872