6_梯度下降法(Gradient Descent)

6_梯度下降法(Gradient Descent)

梯度下降法是在机器学习领域的一个重要的搜索策略。在这一章,我们将详细讲解梯度下降法的基本原理,一步一步改进梯度下降算法,让大家理解梯度下降法中各种参数,尤其是学习率的意义。
同时,我们还将引申出随机梯度下降法和小批量梯度下降法两个方法,让大家对梯度下降法家族有一个全方位的认识。…

6-1 什么是梯度下降法

6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)

  • 导数代表 theta单位变化时,J相应的变化

  • 导数可以代表方向,对应J增大的方向
    6_梯度下降法(Gradient Descent)
    6_梯度下降法(Gradient Descent)
    6_梯度下降法(Gradient Descent)
    6_梯度下降法(Gradient Descent)
    6_梯度下降法(Gradient Descent)

    • 并不是所有函数都有唯一的极值点(多元多次函数)

6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)

6-3 线性回归中的梯度下降法

6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
由于梯度的大小受样本数m影响,显然不合理,故除以样本数m,使其不受样本数量的影响。
6_梯度下降法(Gradient Descent)

6-4 实现线性回归中的梯度下降法

6-5 梯度下降法的向量化和数据标准化

6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)

6-6 随机梯度下降法

6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)

  • 模拟退火算法思想:模仿自然界退火现象而得,利用了物理中固体物质的退火过程与一般优化问题的相似性。
    从某一初始温度开始,伴随温度的不断下降,结合概率突跳特性在解空间中随机寻找全局最优解6_梯度下降法(Gradient Descent)

6-8 如何确定梯度计算的准确性?调试梯度下降法

6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)

# ipynb上的代码,没有print()


import numpy as np
import matplotlib.pyplot as plt

np.random.seed(666)
X = np.random.random(size = (1000,10))

true_theta = np.arange(1,12,dtype = float)

X_b = np.hstack([np.ones((len(X),1)),X]   )
y = X_b.dot(true_theta) + np.random.normal(size = 1000)

print(X.shape)
print(y.shape)
print(true_theta)

def J(theta,X_b,y):  #定义损失函数
    try:
        return np.sum((y-X_b.dot(theta))**2  ) / len(X_b)  
    except:
        return float("inf")

def dJ_math(theta,X_b,y):  # 定义梯度 数学公式计算
    return X_b.T.dot(X_b.dot(theta) - y)*2. / len(y)

def dJ_debug(theta,X_b,y,epsilon=.01):    # 定义梯度 debug计算 
    res = np.empty(len(theta))
    for i in range(len(theta)):
        theta_1 = theta.copy()
        theta_1[i] += epsilon
        theta_2 = theta.copy()
        theta_2[i] -= epsilon
        res[i] = (J(theta_1,X_b,y) - J(theta_2,X_b,y))/(2*epsilon)
    
    return res

def gradient_descent(dJ,X_b,y,initial_theta,eta=1e-2,epsilon=1e-8,n_iters=1e4):
    theta = initial_theta
    i_iters = 0
    while i_iters < n_iters:
        gradient = dJ(theta,X_b,y)
        last_theta = theta
        theta = theta - eta * gradient
        if (abs(J(theta,X_b,y)-J(last_theta,X_b,y)))< epsilon:
            break
        i_iters += 1 

    return theta

X_b = np.hstack( ( np.ones((len(X),1)),X) )
initial_theta = np.zeros(X_b.shape[1])
eta = 0.01

%time theta = gradient_descent(dJ_debug,X_b,y,initial_theta,eta)
theta

%time theta = gradient_descent(dJ_math,X_b,y,initial_theta,eta)
theta

tip
dJ_debug用于验证调试梯度,速度较慢,可以取少量样本用dJ_debug得到正确的结果,再用公式推出数学解,对比结果。

dJ_debug不受当前损失函数J的影响,求梯度具有普适性。

6-9 有关梯度下降法的更多深入讨论

6_梯度下降法(Gradient Descent)
BGD:每次都需要遍历整个样本,每次向梯度下降最快的方向一定,稳定但是慢。
SGD:每次只看一个样本,梯度下降的方向不确定,甚至可能向反方向移动, 快但是不稳定。

MBGD:两种极端方法折中,每次却k个样本,k也成了一个超参数。

6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
6_梯度下降法(Gradient Descent)
总结:有些相关的代码只能在VSC运行,Jupyter就跑不了,特别是hstack()函数。

上一篇:DJ Mix Pads 2 Remix Version for Mac(独特DJ音乐制作板) v15.5.6激活版


下一篇:Wedding DJ题解 (回归OI)