6_梯度下降法(Gradient Descent)
梯度下降法是在机器学习领域的一个重要的搜索策略。在这一章,我们将详细讲解梯度下降法的基本原理,一步一步改进梯度下降算法,让大家理解梯度下降法中各种参数,尤其是学习率的意义。
同时,我们还将引申出随机梯度下降法和小批量梯度下降法两个方法,让大家对梯度下降法家族有一个全方位的认识。…
6-1 什么是梯度下降法
-
导数代表 theta单位变化时,J相应的变化
-
导数可以代表方向,对应J增大的方向
- 并不是所有函数都有唯一的极值点(多元多次函数)
6-3 线性回归中的梯度下降法
由于梯度的大小受样本数m影响,显然不合理,故除以样本数m,使其不受样本数量的影响。
6-4 实现线性回归中的梯度下降法
6-5 梯度下降法的向量化和数据标准化
6-6 随机梯度下降法
- 模拟退火算法思想:模仿自然界退火现象而得,利用了物理中固体物质的退火过程与一般优化问题的相似性。
从某一初始温度开始,伴随温度的不断下降,结合概率突跳特性在解空间中随机寻找全局最优解
6-8 如何确定梯度计算的准确性?调试梯度下降法
# ipynb上的代码,没有print()
import numpy as np
import matplotlib.pyplot as plt
np.random.seed(666)
X = np.random.random(size = (1000,10))
true_theta = np.arange(1,12,dtype = float)
X_b = np.hstack([np.ones((len(X),1)),X] )
y = X_b.dot(true_theta) + np.random.normal(size = 1000)
print(X.shape)
print(y.shape)
print(true_theta)
def J(theta,X_b,y): #定义损失函数
try:
return np.sum((y-X_b.dot(theta))**2 ) / len(X_b)
except:
return float("inf")
def dJ_math(theta,X_b,y): # 定义梯度 数学公式计算
return X_b.T.dot(X_b.dot(theta) - y)*2. / len(y)
def dJ_debug(theta,X_b,y,epsilon=.01): # 定义梯度 debug计算
res = np.empty(len(theta))
for i in range(len(theta)):
theta_1 = theta.copy()
theta_1[i] += epsilon
theta_2 = theta.copy()
theta_2[i] -= epsilon
res[i] = (J(theta_1,X_b,y) - J(theta_2,X_b,y))/(2*epsilon)
return res
def gradient_descent(dJ,X_b,y,initial_theta,eta=1e-2,epsilon=1e-8,n_iters=1e4):
theta = initial_theta
i_iters = 0
while i_iters < n_iters:
gradient = dJ(theta,X_b,y)
last_theta = theta
theta = theta - eta * gradient
if (abs(J(theta,X_b,y)-J(last_theta,X_b,y)))< epsilon:
break
i_iters += 1
return theta
X_b = np.hstack( ( np.ones((len(X),1)),X) )
initial_theta = np.zeros(X_b.shape[1])
eta = 0.01
%time theta = gradient_descent(dJ_debug,X_b,y,initial_theta,eta)
theta
%time theta = gradient_descent(dJ_math,X_b,y,initial_theta,eta)
theta
tip
dJ_debug用于验证调试梯度,速度较慢,可以取少量样本用dJ_debug得到正确的结果,再用公式推出数学解,对比结果。
dJ_debug不受当前损失函数J的影响,求梯度具有普适性。
6-9 有关梯度下降法的更多深入讨论
BGD:每次都需要遍历整个样本,每次向梯度下降最快的方向一定,稳定但是慢。
SGD:每次只看一个样本,梯度下降的方向不确定,甚至可能向反方向移动, 快但是不稳定。
MBGD:两种极端方法折中,每次却k个样本,k也成了一个超参数。
总结:有些相关的代码只能在VSC运行,Jupyter就跑不了,特别是hstack()函数。