Epoch、batch_size批处理大小、迭代次数之间的关系
问题：当遇到参数Epoch时，我们应该将其具体设置多少呢？或者应该迭代多少次呢？
- epoch的大小跟迭代次数有着密切的关系，我认为通常在迭代次数处于2000-3000之间损失已经处于平稳，大部分在第2000之前已经趋于稳定，如果在2000-3000区间损失仍有较大幅度变化，说明你的数据或模型有问题。
- 那么怎么根据已有的信息，估算出我们应该设置的Epoch大小和迭代次数呢？通过下面的举例说明相信你一定会深刻明白。
举例说明
epoch一次：训练时，所有训练数据集都训练过一次。
举个例子：mnist 数据集有 60000 张图片作为训练数据，10000 张图片作为测试数据。假设现在选择 Batch Size = 100 对模型进行训练。迭代30000次。
- 每个 Epoch 要训练的图片数量：60000(训练集上的所有图像)
- 训练集具有的 Batch 个数： 60000/100=600
- 每个 Epoch 需要完成的 Batch 个数： 600
- 每个 Epoch 具有的 Iteration 个数： 600（完成一个Batch训练，相当于参数迭代一次）
- 每个 Epoch 中发生模型权重更新的次数：600
- 训练 10 个Epoch后，模型权重更新的次数： 600*10=6000
- 不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的60000图片，但是对模型的权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
- 总共完成30000次迭代，相当于完成了 30000/600=50 个Epoch
- 综上，对于不同的数据集规模要有相应的估计，同时除了Epoch，还有可能是别的影响因素：超参数是我们控制我们模型结构、功能、效率等的 调节旋钮，具体有哪些呢：
- 学习率
- epoch 迭代次数
- 隐藏层
- 激活函数
- batch size
- 优化器，如：Adam，SGD……