⚡机器学习⚡中的优化器(Optimizers)方法

⚡终于!!!

⚡终于又有时间学习Deep Learning了⚡!

30天ML计划,一起加油!!!

https://blog.csdn.net/weixin_44333889/category_11271153.html《专栏》


在训练NN的时候,有哪些Optimizers可以优化更快的找到global Minima?


下面我们来看下有哪些方法可以优化求解。


Background

在训练神经网路的时候,最开始我们是用的Gradient Descent(梯度下降法,GD)来求解,但是会出现很多问题,面临大量的数据的时候,GD会出现local Minima,而且求解速度会下降。


关于GD+Momentum,可以看这个介绍简单易懂。


整个技术的发展路线如下:


SGD 【Cauchy,1847】

SGD with momentum 【Rumelhart,et al.,Nature’1986】

上面两个是远古时期的优化求解方法,其实放到现在来看,依旧还是很有效果。


如下面这些就是SGDM训练出来的,


⚡机器学习⚡中的优化器(Optimizers)方法

⚡机器学习⚡中的优化器(Optimizers)方法

目前比较常用的是下面三个Optimizers:


Adagrad 【Duchi,et al. JMLR’11 2011】

RMSProp 【Hinton,et al. Lecture slides, 2013】

Adam 【kingma,et al. ICLR’15 2014】

借用一下李老师(台大,李宏毅)的PPT。


SGD,stochastic gradient descent。也就是最普通的方法,如下图所示

⚡机器学习⚡中的优化器(Optimizers)方法

⚡机器学习⚡中的优化器(Optimizers)方法

⚡机器学习⚡中的优化器(Optimizers)方法

Adagrad

Adagrad(自适应梯度算法)。其基本思想是,对每个参数theta自适应的调节它的学习率,自适应的方法就是对每个参数乘以不同的系数,并且这个系数是通过之前累积的梯度大小的平方和决定的,也就是说,对于之前更新很多的,相对就可以慢一点,而对那些没怎么更新过的,就可以给一个大一些的学习率。


Adagrad算法:

⚡机器学习⚡中的优化器(Optimizers)方法

以上就为Adagrad算法的内容。

Python实现代码:

import numpy as np

class Adagrad:
    def __init__(self, learning_rate=0.01):
        self.learning_rate = learning_rate    # 学习率设置为0.01
        self.fg = None  
        self.delta = 1e-07                   # 设置1e-07微小值避免分母为0
        
    def update(self, params, grads):     # 更新操作
        if self.fg is None:
            self.fg = {}               # 设为空列表
            for key, value in params.items():
                self.fg[key] = np.zeros_like(value)   # 构造一个矩阵

        for key in params.keys():        # 循环迭代
            self.fg[key] += grads[key] * grads[key]     
            params[key] -= self.learning_rate * grads[key] / (np.sqrt(self.fg[key]) + self.delta) 

RMSProp

RMSProp算法实则为对Adagrad的一个改进,也就是把Adagrad对历史梯度加和变成了对历史梯度求均值,再利用这个均值代替Adagrad累加的梯度和对当前梯度进行加权,并用来update更新。


用均值代替求和是为了解决Adagrad的学习率逐渐消失的问题。


⚡机器学习⚡中的优化器(Optimizers)方法

⚡机器学习⚡中的优化器(Optimizers)方法

图片源自网络)

有位大佬的解释更加清晰,可跳转此处

def RMSprop(x, y, step=0.01, iter_count=500, batch_size=4, alpha=0.9, beta=0.9):
    length, features = x.shape
    data = np.column_stack((x, np.ones((length, 1))))
    w = np.zeros((features + 1, 1))
    Sdw, v, eta = 0, 0, 10e-7
    start, end = 0, batch_size
    
    # 开始迭代
    for i in range(iter_count):
        # 计算临时更新参数
        w_temp = w - step * v
        
        # 计算梯度
        dw = np.sum((np.dot(data[start:end], w_temp) - y[start:end]) * data[start:end], axis=0).reshape((features + 1, 1)) / length        
        
        # 计算累积梯度平方
        Sdw = beta * Sdw + (1 - beta) * np.dot(dw.T, dw)
        
        # 计算速度更新量、
        v = alpha * v + (1 - alpha) * dw
        
        # 更新参数
        w = w - (step / np.sqrt(eta + Sdw)) * v
        start = (start + batch_size) % length
        if start > length:
            start -= length
        end = (end + batch_size) % length
        if end > length:
            end -= length
    return w

Adam

最后讲讲Adam(自适应矩估计 Adaptive moment estimation),因为目前是比较强的,下面这些都是由Adam训练出来的,

⚡机器学习⚡中的优化器(Optimizers)方法

看一下Adam和SGDM的准确率对比(源自论文)

⚡机器学习⚡中的优化器(Optimizers)方法

由于Adam的提出的地方有一些突兀,并非在论文或会议,能找到的最原始的出处也只有下面了,看一下他的更新方式吧,相当于一个优化参数的更新模块。

⚡机器学习⚡中的优化器(Optimizers)方法

⚡机器学习⚡中的优化器(Optimizers)方法

Adam 的Python代码有大佬已经开源了:


https://github.com/yzy1996/Python-Code/blob/master/Algorithm/Optimization-Algorithm/Adam.py

https://github.com/sagarvegad/Adam-optimizer/blob/master/Adam.py

如果不想转链接,这里直接附上了:

import math

alpha = 0.01
beta_1 = 0.9
beta_2 = 0.999                      # 初始化参数的值
epsilon = 1e-8
def func(x):
    return x*x -4*x + 4
def grad_func(x):                   # 计算梯度
    return 2*x - 4
theta_0 = 0                     # 初始化向量
m_t = 0 
v_t = 0 
t = 0

while (1):                  # 循环直到它收敛
    t+=1
    g_t = grad_func(theta_0)        # 计算随机函数的梯度
    m_t = beta_1*m_t + (1-beta_1)*g_t   # 更新梯度的移动平均线
    v_t = beta_2*v_t + (1-beta_2)*(g_t*g_t) # 更新平方梯度的移动平均线
    m_cap = m_t/(1-(beta_1**t))     # 计算偏差校正后的估计
    v_cap = v_t/(1-(beta_2**t))     # 计算偏差校正后的估计
    theta_0_prev = theta_0                              
    theta_0 = theta_0 - (alpha*m_cap)/(math.sqrt(v_cap)+epsilon)    # 更新参数
    if(theta_0 == theta_0_prev):        # 检查是否收敛
        break

总而言之,这个优化器目前是处于机器学习中最强的优化地位。

其实,对于不同的数据集或许会有所偏差,在不同的优化时间段,前中后期,各个优化器的准确率会有所波动,如下(源自论文)准确率测试图:

⚡机器学习⚡中的优化器(Optimizers)方法

所以,不经感叹道,搞优化求解,真的是一门玄学啊,老的方法不一定在现在没有用,新的方法不一定适用于所以场景,找到最适合的方法才是真的有效的。相信在科技如此发达的现在及以后,会有更多的优化求解算法,推进人类进步,而不仅仅是从硬件上提升运算速度。

上一篇:<LeetCode天梯>“交个朋友&一起变强”之攻略集合部分三 | 初级算法 | Python


下一篇:无影云桌面之初体验,只有一句真的New Beer!!!