集成学习笔记

集成学习通过结合规则,使用一系列弱学习器来组成一个强学习器

集成学习通常有两个步骤,ensemble generation 和 ensemble integration ,通常在两个步骤之间会有一个 pruning process 剪枝过程

ensemble generation

是使用训练数据获得多个弱学习器的过程,产生的弱学习器叫做 base learner/models 基学习器,可以是同构的也可以是异构的,通常同构的情况更容易分析,所以较为普遍,有两种方式可以获得基学习器,序列化的或者说串行产生的是 boosting 对应于 sequentially,并行获得的是 bagging 对应的是 parallel

ensemble integration

是使用一定的组合规则,将基学习器组合成一个强的学习器

最简单的做法就是求平均,将所有基学习器的答案,去一个平均值,该方法适用于数值预测类的问题,或者说是回归问题

另一个比较简单的方法是投票,类似于ABCD四个选项,如果大部分学习器都选择了A,那最后就按A答案来,所以该方法更适合于分类问题

最后一个基本策略就是再找一个学习器来融合其他学习器的结果,这类方法属于stacking

上一篇:《MP3net: coherent, minute-long music generation from raw audio with a simple convolutional GAN》论文阅读


下一篇:全志平台,camera app适配。