学习地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/EnsembleLearning
Task 12 的主要学习内容是 Stacking集成学习算法
Stacking集成学习算法
算法步骤
相较于blending算法，stacking的步骤如下：
- 将训练数据进行k折交叉分割
- 在各个基础模型上分别进行k次训练，每个基础模型得到k个预测结果
- 每个基础模型分别对自己的k个预测值平均，得到其对训练数据的预测结果
- 将上一层几个模型的预测结果拼接样本的真实标签，带入第二层模型进行训练
- 最终得到stacking方法的融合预测结果
优缺点
-
优点
自动化的大型集成策略可以通过添加正则项有效的对抗过拟合
并不需要太多的调参和特征选择。
这是目前提升机器学习效果最好的方法
使用多折交叉验证，比使用单一留出集更加稳健，数据利用率高 -
缺点
会有一定的数据泄露