7 线性回归的梯度下降

回顾下之前所学

即

• 梯度下降算法
• 线性回归模型

• • 线性假设
  • 平方差代价函数

当具体应用于线性回归的情况时，可以导出梯度下降方程的新形式

我们可以替换我们的实际成本函数和我们的实际假设函数，并将等式修改为：

repeat until convergence: {θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)θ1−α1m∑i=1m((hθ(xi)−yi)xi)

derivation of ∂∂θjJ(θ) for a single example :

其中m是训练集的大小

θ0是一个常数，它将与给定训练集（数据）的θ1和xi，yi 的值同步变化

注意，我们已经将θj的两种情况分离为θ0和θ1的两种情况的偏导数方程

而对于θ1，由于导数，我们在末尾乘以xi

以下是一个单个例子的∂∂θjJ（θ）的推导：

所有这一切的要点是，如果我们从某个猜想开始，然后重复应用这些梯度下降方程，我们的假设将变得越来越准确

因此，这只是原始成本函数J的梯度下降

该方法在每个步骤中查看整个训练集中的每个示例，并称为批量梯度下降

需要注意的是，虽然梯度下降一般对局部最小值敏感，但我们在线性回归中提出的优化问题只有一个全局，而没有其他局部最优; 因此，梯度下降总是收敛（假设学习率α不是太大）于全局最小值

实际上，J是凸二次函数。 下面是梯度下降的示例，因为它是为了最小化一个二次函数而运行的

上面显示的椭圆是二次函数的轮廓

还示出了梯度下降所采用的轨迹，其在（48,30）处初始化

图中的x（由直线连接）标记了渐变下降经历的θ的连续值，当它收敛到其最小值时