我是所有这些方法的新手,我试图得到一个简单的答案,或者如果有人可以指导我在网上的某个地方进行高级别的解释.我的谷歌搜索只返回了kaggle示例代码.

extratree和randomforrest基本相同吗？ xgboost在为任何特定树选择特征时使用增强,即对特征进行采样.但那么其他两种算法如何选择这些功能呢？

谢谢！

解决方法:

额外的树(ET)又名.非常随机的树与随机森林(RF)非常相似.这两种方法都是装袋方法,聚合了一些完全成长的决策树. RF只会尝试拆分,例如三分之一的功能,但评估这些功能中的任何可能的断点并选择最佳.但是,ET只会评估一个随机的几个断点并选择最好的断点. ET可以将样本引导到每棵树或使用所有样本. RF必须使用bootstrap才能正常工作.

xgboost是渐变增强的实现,可以与决策树一起使用,典型的较小树.训练每棵树以校正先前训练的树的残差.梯度增强可能更难以训练,但可以实现比RF更低的模型偏差.对于噪声数据,装袋可能是最有希望的.对于低噪声和复杂的数据结构,提升可能是最有希望的.