赛题：零基础入门数据挖掘 - 零基础入门金融风控之贷款违约预测

项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/FinancialRiskControl

比赛地址：https://tianchi.aliyun.com/competition/entrance/531830/introduction
目的: 将之前建模调参的结果进行模型融合。 尝试多种融合方案，提交融合结果并打卡。

学习内容概述：

1、stacking\blending详解

学习内容：

stacking\blending详解

• stacking: stacking 将若干基学习器获得的预测结果，将预测结果作为新的训练集来训练一个学习器。 但是由于直接将多个学习器的结果带到新的模拟器中，容易导致过拟合，可以考虑使用K折验证防止过拟合。

blending: blending是将预测的值作为新的特征和原特征合并，构成新的特征值，用于预测。为了防止过拟合，将数据分为两部分d1、d2，使用d1的数据作为训练集，d2数据作为测试集。预测得到的数据作为新特征使用d2的数据作为训练集结合新特征，预测测试集结果。

• 

• Blending与stacking的不同

stacking

• stacking中由于两层使用的数据不同，所以可以避免信息泄露的问题。

• 在组队竞赛的过程中，不需要给队友分享自己的随机种子。

• stacking多层提升幅度并不能抵消其带来的时间和内存消耗，所以实际环境中应用还是有一定的难度。

Blending

• 由于blending对将数据划分为两个部分，在最后预测时有部分数据信息将被忽略。
• 同时在使用第二层数据时可能会因为第二层数据较少产生过拟合现象。

简单平均和加权平均

是常用的两种比赛中模型融合的方式。其优点是快速、简单。

总结：

这四种模型融合的方式各有各的优劣点，在比赛当中要根据模型的情况和实际情况做出选择。