• 何为训练一个模型？
  通过对有标签的样本进行学习，来确定所有权重和偏差的理想值
  （w1和b）
  在监督式学习中，机器学习算法通过以下方式构建模型：检查多个样本并尝试找出可最大限度地减少损失的模型；这一过程称为经验风险最小化(empirical risk minimization)。
• 何为损失？
  损失是对糟糕预测的惩罚。也就是说，损失是一个数值，表示对于单个样本而言模型预测的准确程度。如果模型的预测完全准确，则损失为零，否则损失会较大。训练模型的目标是从所有样本中找到一组平均损失“较小”的权重和偏差。
• 红色表示损失
• 蓝色表示预测
  
  由上图可以看出，左边的图预测结果不尽人意，损失较大。右边图效果较好
  其中，红色箭头表示与真实值存在的损失，可以看到每个样基本都存在损失。
• 损失函数是什么？
  通过一个数学函数，将所有的损失值表示出来。

Squared loss( L2 loss)

• = the square of the difference between the label and the prediction
  = (observation - prediction(x))2
  = (y - y’)2

Mean square error (MSE)

• 常见系数是1/2N，主要是为了方便求导。
• （x,y）指的是样本
• N 是样本的数量
• x是模型进行预测时用到的特征值
• y是样本的标签
• prediction（x）就是y’