深度学习模型实际上是一个包含多个隐藏层的神经网络,目前主要有卷积神经网络(CNN)、深度置信网络(DBN)、循环神经网络(RNN)。
1) 卷积神经网络
在机器学习领域,卷积神经网络属于前馈神经网络的一种。不同于传统的全连接神经网络结构,卷积神经网络引入了局部感受区域的策略,如处理图像任务时,利用图像数据的空间结构以及邻近像素间的相关性。这使得单个神经元仅对局部信息进行响应,相邻神经元的感受区域存在重叠。
此外,在卷积层中,所有神经元共享同一个卷积核,从而显著减少了训练参数的数量,提高了网络的泛化能力。通常在卷积层后面会进行降采样操作,对提取的特征进行聚合统计,以进一步减少参数数量并增强网络的泛化能力。
2) 深度置信网络
深度置信网络是一种生成模型,具有若干隐藏层。其内部神经元在同一隐藏层中没有连接,但隐藏层之间的神经元却是全连接的。通过逐层无监督学习,神经网络可以较好地对输入数据进行描述,并最终可被转换成深度神经网络用于分类任务。该网络可用于图像识别、图像生成等领域,也支持无监督或半监督学习,利用无标记数据进行预训练以提高神经网络性能。
3) 循环神经网络
循环神经网络是专门用于处理时序数据的神经网络,与典型的前馈型神经网络最大的不同在于网络内存在环形结构。隐藏层内部的神经元互相连接,可以存储网络的内部状态,并且包含序列输入的历史信息,以实现对时序动态行为的描述。
循环神经网络可用于机器翻译、连写手写字识别、语音识别等任务。结合卷积神经网络和循环神经网络,可以实现对图像内容的检测、物体识别以及对图像内容的描述生成。