吃瓜笔记《机器学习》周志华——第五章神经网络

2023-10-11 17:50:04

神经网络：具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经元模型：一个_神经元_收到的刺激超过阈值（threshold/bias），它就会被激活。概括为_M-P神经元模型_：n个带权输入 → \rightarrow →与threshold比较 → \rightarrow →激活函数处理产生输出。
激活函数中1代表兴奋，0代表不兴奋。理想中激活函数位阶跃函数，为方便处理用连续的Sigmoid函数。
神经网络：神经元按一定_层次结构_连接。
神经网络可以视为包含了许多参数的数学模型，由若干函数（如 y j = f ( ∑ i w i x i − θ j ) y_j = f(\sum_i w_i x_i - \theta_j) yj=f(∑iwixi−θj)）相互嵌套得到。

感知机有两层神经网络，输出层为M-P神经单元——“阈值逻辑单元”。
各神经元的 ω \omega ω和 θ \theta θ取适当的值，可以实现逻辑与、或、非运算。
给定训练集， ω \omega ω和 θ \theta θ可以通过学习得到。 θ \theta θ可视为固定输入为1的哑结点（dummy node）。
感知机的学习规则：
- 当前训练样例为(x,y)，当前感知机输出位 y^ \hat{y}，则权重调整为：
- ω i ← ω i + Δ ω i \omega_i \leftarrow \omega_i + \Delta\omega_i ωi←ωi+Δωi， Δ ω i = η ( y − y ^ ) x i \Delta\omega_i = \eta(y - \hat{y})x_i Δωi=η(y−y^)xi
- η \eta η为学习率（learning rate）
感知机只有输出层神经元进行激活函数处理，即只有一层功能神经元（functional neuron）。
线性可分：存在线性超平面将两类模式分开。
若两类模式
- 线性可分（如与、或、非），感知机的学习过程会收敛（vonverge）；
- 若线性不可分（如异或），则会发生振荡（fluctuation），不能稳定。

深度学习（deep learning）是很深层的神经网络。其提高容量的方法是增加隐层数目，这比增加隐层神经元数目更有效，这样不但增加了拥有激活函数的神经元数目，而且增加了激活函数嵌套的层数。
该模型太复杂，下面给出两种节省开销的训练方法：无监督逐层训练、权共享。
无监督逐层训练（unsupervised layer-wise training）：
- 预训练（pre-training）：每次训练一层，将上层作为输入，本层结果作为下层的输入。
- 微调训练（fine-training）：预训练结束后的微调。
- 可视为将大量参数分组，每组先找到好的设置，基于局部较优进行全局寻优。
权共享（weight sharing）：让一组神经元使用相同的连接权。这在卷积神经网络（Convolutional Neural Network，CNN）发挥了重要作用。

码农公寓