目录
深度学习(神经网络)的简介
1、深度学习浪潮兴起的三大因素
深度学习(神经网络)的基础知识(相关概念、训练策略)
1、神经网络的基础知识
2、神经元的结构
3、感知机
4、万能逼近定理
5、神经网络训练
6、神经网络学习
7、神经网络的前馈运算与反向传播
8、激活函数
深度学习(神经网络)的算法分类
1、常用的神经网络模型概览
深度学习(神经网络)的经典案例应用
深度学习(神经网络)的简介
深度学习（Deep Learning, DL）或阶层学习（hierarchical learning）是机器学习的技术和研究领域之一，通过建立具有阶层结构的人工神经网络（Artifitial Neural Networks, ANNs），在计算系统中实现人工智能 。由于阶层ANN能够对输入信息进行逐层提取和筛选，因此深度学习具有表征学习（representation learning）能力 ，可以实现端到端的监督学习和非监督学习 。此外，深度学习也可参与构建强化学习（reinforcement learning）系统，形成深度强化学习 。
深度学习所使用的阶层ANN具有多种形态，其阶层的复杂度被通称为“深度” 。按构筑类型，深度学习的形式包括多层感知器、卷积神经网络、循环神经网络、深度置信网络和其它混合构筑 。深度学习使用数据对其构筑中的参数进行更新以达成训练目标，该过程被通称为“学习” 。学习的常见方法为梯度下降算法及其变体 ，一些统计学习理论被用于学习过程的优化 [9] 。
在应用方面，深度学习被用于对复杂结构和大样本的高维数据进行学习，按研究领域包括计算机视觉、自然语言处理、生物信息学、自动控制等，且在人像识别、机器翻译、自动驾驶等现实问题中取得了成功。
1、深度学习浪潮兴起的三大因素
海量的数据
不断提升的算法能力
高性能计算硬件的实现：GPU、TPU
深度学习(神经网络)的基础知识(相关概念、训练策略)
深度学习的实质是构建具有多个隐藏层的机器学习模型，通过海量的训练数据来学习更有用的特征，从而最终提升分类或预测的准确性。“深度模型”是手段，“表示学习”是目的。
深度学习与传统的浅层学习的不同在于：
(1) 强调了模型结构的深度，有2层以上的隐藏层；
(2) 明确突出了表示学习的重要性。通过逐层特征变换，将样本在原空间的特征表示变换到一个新的特征空间，使分类或预测更加容易。
DL之DNN优化技术：神经网络算法简介之GD/SGD算法的简介、代码实现、代码调参之详细攻略
DL之DNN：BP类神经网络理解之不需要额外任何文字，只需要八张图讲清楚BP类神经网络的工作原理
1、神经网络的基础知识
神经元
感知机
激活函数：Sigmoid、tanh、ReLU、Leaky ReLU、ELU、Softmax。
多层感知机：
万能逼近定理：
2、神经元的结构
生物神经元包括细胞体和突起两个部分，突起又包括树突(接收信号)和轴突(传出信号)。
轴突记录了神经元间联系的强弱。只有达到一定的兴奋程度，神经元才向外界传输信息。
神经元之间的信号通过突触传递。
3、感知机
DL之Perceptron：Perceptron感知器(感知机/多层感知机/人工神经元)的简介、原理、案例应用(相关配图)之详细攻略
4、万能逼近定理
(Universal approximation theorem)
只需一个包含单个隐藏层的前馈神经网络，即可逼近任意一个连续函数。
尽管仅有一个隐藏层的前馈网络足以表示任何函数，但是该隐藏层的神经元数目可能非常多，从而导致网络无法学习或正确泛化。
5、神经网络训练
(1)、损失函数：
平均损失函数
绝对值损失函数
交叉熵损失函数：softmax回归，独热编码。
(2)、优化目标
(3)、梯度下降：
梯度下降批次训练策略：
批次梯度下降(Batch Gradient Descent)、
随机梯度下降(Stochastic Gradient Descent)、
小批次梯度下降(Mini-batch Gradient Descent)、
DL之DNN优化技术：神经网络算法简介之梯度下降算法(GD算法)中相关概念(方向导数/梯度)、目标函数、其他常见损失函数求梯度(求导)案例之详细攻略
梯度下降各种优化算法：Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam
(4)、反向传播法：计算图解释
1、神经网络训练的优化目标