动手学深度学习v2-10-1 线性回归+基础优化算法

一、线性回归

1 线性模型

动手学深度学习v2-10-1 线性回归+基础优化算法

2 线性模型可以看成单层神经网络

动手学深度学习v2-10-1 线性回归+基础优化算法

3 神经网络源于神经科学

动手学深度学习v2-10-1 线性回归+基础优化算法

4 衡量预测质量

  • 平方损失
    动手学深度学习v2-10-1 线性回归+基础优化算法

5 案例-房价预测

(1) 简化模型

动手学深度学习v2-10-1 线性回归+基础优化算法

(2) 训练数据

动手学深度学习v2-10-1 线性回归+基础优化算法

(3) 参数学习

动手学深度学习v2-10-1 线性回归+基础优化算法

(4) 显示解
动手学深度学习v2-10-1 线性回归+基础优化算法

6 总结

动手学深度学习v2-10-1 线性回归+基础优化算法

二、基础优化方法

1 梯度下降

(1) 基本步骤
动手学深度学习v2-10-1 线性回归+基础优化算法

(2) 选择学习率
动手学深度学习v2-10-1 线性回归+基础优化算法

2 小批量随机梯度下降

(1) 基本步骤
动手学深度学习v2-10-1 线性回归+基础优化算法

(2) 选择批量大小
动手学深度学习v2-10-1 线性回归+基础优化算法

3 总结

动手学深度学习v2-10-1 线性回归+基础优化算法

上一篇:动手学深度学习v2-10-3-线性回归的简洁实现


下一篇:DeepLab-v2