Regression(回归):predict continuous valued output.
步骤一:hypothesis function model
步骤二:模型评估(loss function损失函数)(cost function代价函数)
步骤三:模型优化。如何自适应优化的模型。(gradient descent梯度下降算法,normal equation正规方程)
linear regression model:
m = number of training examples
x’s = ‘input’ variable/features
y’s =‘output’ variable/‘target’ variable
(x,y) = one training example
L(f)为损失函数,
在线性回归模型中,损失函数为实际值y减去预测值h(θ)的平方在迭代求和,损失函数的目的就是找最优(损失函数的output为最小的时候)
梯度下降算法需要先给参数θ(比如θ0=0,θ1=0),再进行迭代改变θ使代价函数或者损失函数J(θ)减小到最小值。
缺点:会陷入局部优化,但是在线性回归没有局部优化问题。
Model Selection. 如果训练数据的特征值只有一个,如果拟合效果不好可以考虑一元n次模型,设计多个θj。一个越复杂的模型在训练集中会得到更低的误差,但在测试集中会得到不好的结果。这就是过拟合(overfitting)
Regularization(正则化):