A-07 前向分步算法

目录
更新、更全的《机器学习》的更新网站,更有python、go、数据结构与算法、爬虫、人工智能教学等着你:https://www.cnblogs.com/nickchen121/p/11686958.html

前向分步算法

一、前向分步算法引入

假设Nick的年龄是25岁。

  1. 第1棵决策树

把Nick的年龄设置成初始值0岁去学习,如果第1棵决策树预测Nick的年龄是12岁,即残差值为2512=13
2. 第2课决策树
1. 把Nick的年龄设置成残差值13岁去学习,如果第2棵决策树能把Nick分到13岁的叶子节点,累加两棵决策树的预测值加和12+13=25,就是Nick的真实年龄25岁
2. 如果第2棵决策树的得到的是10岁,残差值为251210=3
3. 第3课决策树

把Nick的年龄设置成残差值3岁去学习……
4. 继续重复上述过程学习,不断逼近Nick的真实年龄

二、前向分步算法详解

2.1 加法模型

加法模型(additive model)一般表示为弱学习器加和

f(x)=t=1Tθtb(x;γt)

其中b(x;γt)为弱学习器,γt为弱学习器的参数,θt为弱学习器的系数。

2.2 加法模型目标函数优化问题

给定训练数据以及目标函数L(y,f(x)),加法模型的经验风险最小化问题既可以变为目标函数最小化问题

minθt,γti=1mL(yi,t=1Tθtb(xi;γt))

上述加法模型的目标函数优化问题是一个很复杂的优化问题,但是通过前向分布算法(forward stagewise algorithm)可以解决这一问题,它的思想是:因为学习问题是加法模型,所以每一步只学习一个弱学习器及其系数,然后逐步逼近优化目标函数,也就是说,每一步只需要优化如下所示的目标函数

minθ,γi=1mL(yi,θb(xi;γ))

三、前向分步算法流程

3.1 输入

m个数据n个特征的训练数据集T={(x1,y1),(x2,y2),,(xm,ym)};目标函数L(y,f(x));弱学习模型集{b(x;γt)},(t=1,2,,T),在Boosting算法中T相当于弱学习器的个数。

3.2 输出

加法模型f(x)

3.3 流程

  1. 初始化f0(x)=0
  2. t=1,2,,T
    1. 极小化目标函数

    (θt,γt)=argminθ,γi=1mL(yi,ft1(xi)+θb(xi;γ))

    得到参数θt,γt
    2. 更新

    ft(x)=ft1(x)+θtb(x;γt)

  3. 得到加法模型

f(x)=fT(x)=t=1Tθtb(x;γt)

上一篇:032 代码复用与函数递归


下一篇:从零开始学习C语言 Day 032