数据分为训练数据/监督数据(优化)和测试数据(评价泛化能力)。

（1）优化（optimization）：用模型拟合观测数据的过程；
（2）泛化（generalization）：数学原理和实践者的智慧，能够指导我们生成出有效性超出用于训练的数据集本身的模型。

损失函数(loss function) yk,tk(one-hot:正解1 其余0)

均方误差(mean squared error)

交叉熵误差(cross entropy error)

mini-batch学习 和chapter3 batch区分

1.在学习过程中，要对所有数据求损失函数，并求平均值。
2.但数据量可能很大，所以选一个mini-batch代表所有数据，求其损失函数。
3.Chapter3中的batch是优化过程中把所有训练数据分批训练，强调分批比一个一个更快。
而本章的mini-batch学习是直接抽一部分学，强调如果全学损失函数计算太复杂。

mini-batch版交叉熵误差的实现

适用于单个数据+批量数据

数值微分(numerical differentiation)

利用微小的差分求导数的过程叫数值微分。
导数的定义式是前向差分
而编程实现采用中心差分

偏导数 略

梯度下降法

方法

求梯度->沿着梯度走一段距离(更新参数)->求新梯度->再沿新梯度走一段距离…

性质

梯度下降法寻找的是梯度为0的点。
负梯度指向函数值减小最快的方向，但并非指向最小值处。
梯度为0的点：极小值、最小值、鞍点(某个方向看是最大值，另个方向看是极小值)
鞍点：

梯度的实现

参数x是Numpy数组

数学式 学习率(learning rate)η

学习率过大或者过小都不能得到好的结果
学习率这样的超参数需要人工设定

实现

神经网络的梯度

学习算法的实现

以两层神经网络，使用MNIST学习。
步骤：
1.mini-batch
2.计算梯度
3.更新参数
4.重复
因为mini-batch，所以称为随机梯度下降法(SGD:stochastic graident descent)

λ表达式

实现：两层神经网络的类

实现：mini-batch学习

进一步优化：基于测试数据的评价

需确认是否发生过拟合
过拟合(overfitting):训练数据中的数字图像能被辨别，但不在训练数据中的图像无法被辨别。即泛化能力差。

评价方法：每一个epoch记录下训练数据和测试数据的识别精度
epoch：一个epoch表示所有训练数据都被使用过一次时的更新次数。
10000笔训练数据，随机打乱后按100/批依次分，则训练100次即可训练所有数据，100次就是一个epoch。