Courses上*大学林轩田老师的机器学习技法课之Aggregation 模型学习笔记。
混合(blending)
本笔记是Course上*大学林轩田老师的《机器学习技法课》的学习笔记,用于学习之后的一些总结。
首先,对于Aggregation模型,其基本思想就是使用不同的 g t 来合成最后的预测模型 G t 。
对于合成的方式主要有四种:
方法 | 数学描述 |
---|---|
1. 选择。选择最值得可信的 g t 来当做最终的模型,而这个 gt 可以使用validation set 来进行选择 | $$G(x)=argmin { t \in {1,2...T} }E {val} (g_t)$$ |
2. 均一式(uniform)混合(blending)。使用每个 g t 一票的方式来决定最终的 G t | G ( x ) = s i g n ( ∑ T t = 1 1 ⋅g t ( x ) ) |
3. 非均一式(non-uniform)混合。对于不同的 g t 给予不同的权重。该方法包含了上述两种方法,a. 当 α t = 1 时,是uniform混合,b. E v a l ( g ( t ) ) 最小的 g t 的 α t 为1,其他都是0,这就是选择方法 | G ( x ) = s i g n ( ∑ T t = 1 α t gt ( x ) ) , α t ≥ 0 |
4. 条件是混合。在不同的条件下选择不同的 g t ,该方法包含了non-uniform方法,当 q t ( x ) = α t 时 | G ( x ) = s i g n ( ∑ T t = 1 q t (x ) ⋅ g t ( x ) ) , q t ( x ) ≥ 0 |
选择
该方法的
优点:简单,流行
缺点:依赖一个很强的假设
在该方法中, g t 是使用validation set来进行选择的,选择的标准是 g t 在验证集上的错误率 $E {val}(g_t) 最 低 , 但 如 果 使 用 E {in}(g_t) 来 代 替 E {val}(g_t) , 则 需要 一 个 很 强 的 假 设 来 保 证 会 有 一 个 很 小 的 E {val}(g_t) 以 及 E_{out}(g_t)$.
均一式混合(uniform blending)
此方法最好是能够有不同的 g t ,这样能从多方面的刻画数据,使得结果更加符合明主的方式,让小数服从多数。
该方法不仅适用于2分类,也适用于多分类,还适合回归问题。 对于回归问题: G (x ) = 1 T ∑ T t = 1 g t ( x )
uniform blending还有一个优点是,使用blending的方式产生的结果,比将每个单独的 g t 的结果加起来再取平均的结果还好。
下面是理论分析:
上述理论表明,使用投票的方法产生的误差要比使用单独的 g t 的结果之和再平均产生的误差要小。
非均一式混合(non-uniform blending) 或者 线性混合(linear blending)
其中对于 α t 的限制是可以不需要的,因为当 α < 0 时,相当于对 g t 进行取反而已。
条件式混合
learning(学习)
在Aggregation模型中,除了blending(混合)之外,还有一种思想,就是在混合的过程中,同时进行 g t 的生成,这种思想就是learning。混合的思想是,所有的 g t 都是已知的,重点在于每个 g t 的参数以及 g t 是怎么产生的。
在learning的模型中,最关键也在 g t 的多样性,多样性可以从以下几个方面来获得:
使用不同的模型来产生 g t ,比如SVM,NB等
同一个模型,使用不同的参数
有些算法本身就具有随机性,比如PLA使用不同的随机种子
使用不同的训练数据来获得模型,可以对数据进行采样获得多份不同的数据
混合和学习三种不同集成方式下的对照表
集成方式 | blending(混合) | learning(学习) |
---|---|---|
均一方式(uniform) | voting(投票)/averaging | Bagging |
非均一方式(non-uniform) | linear blending | AdaBoost |
条件式(conditional) | Stacking(Any blending) | Decision Tree |
Bagging
由上面可知,当bagging模型中的基本算法对数据的随机性敏感的话,该算法会比较有效。
AdaBoost
AdaBoost的基本思想是对每个样本赋予不同的权重,来产生一个 g t ,整个算法会有T轮迭代,每一轮迭代产生的 g t 是根据上一轮的 g t − 1 来获得的。在迭代过程中,会增大分类错误样本的权重,降低分类正确的样本的权重。
算法流程:
具体过程可以参考这篇博文:AdaBoost算法的原理与推导
Decision Tree
决策树的优缺点:
决策树的基本流程:
其中有四个关键点。
分支的个数(C)
产生分支的条件
算法终止条件
基本假设
对于上述4个关键点,CART(Classification and Regression Tree)使用了独特参数。
C = 2, 产生的树是一个二叉树
对于产生分支的条件,使用了数据的纯洁度来进行度量
算法的终止条件是:
所有 y n 是一样的: i m p u r i t y = 0 ⇒ g t ( x ) = y n
所有的 x n 是一样的: 没有决策桩,既无法产生决策点
基本假设是:
g t ( x ) = E i n − o p t i m a l c o n s t a n t
binary/multiclass classification (0/1 error): majority of { y n }
regression (squared error): average of { y n }
算法基本流程:
按照上述算法生成的是一颗满二叉树,这样的结果是会造成overfit,因此需要进行剪枝。
CART的优点是:
适用于类别标签数据
对一些有缺失的数据也能够起作用
是具有可解释性的
支持多标签数据
分类的过程非常高效
上面这些优点也是其他算法很难同时具备的,除了其他的一些决策树算法。
Aggregation of Aggregation
将上述各个算法进行进一步融合,便得到了更加复杂的算法。
比如:Random Forest, Gradient Boosted Decision Tree
Random Forest
基本算法流程:
在这讲中还讲到了几个概念:
OOB,就是在boost的过程中,需要对数据进行采样,这样就会造成有些数据一直没有被采样过。
Feature Selection(特征选择),在RF中,使用的是一种叫排列测试来进行特征选择
上述两点都是RF的优点,在训练过程中不需要额外的validation set,使用OOB既可以进行自我检验;在训练过程中还可以进行特征选择,能选出那些重要的特征。
Gradient Boosted Decision Tree
这一节还没怎么听懂。
先贴一个算法流程:
对于整个Aggregation Models的总结