GBDT和XGBoost的区别

1、GBDT是机器学习算法,而XGBoost是算法的工程实现

2、使用CART作为基分类器时,XGBoost显式的加入了正则项来控制模型的复杂度,防止过拟合,提高了模型 的泛化能力

3、GBDT只使用了代价函数的一阶导数信息,而XGBoost对代价函数进行二阶泰勒展开,同时使用一阶和二阶信息。

4、传统的GBDT采用CART作为基分类器,而XGBoost支持多种类型的基分类器

5、传统的GBDT迭代时采用全部的数据,而XGBoost采用了随机森林相似的策略,支持对数据进行 采样

6、传统的GBDT没有对缺失值的处理策略,而XGBoost自动学习出对缺失值的处理策略

引自:白面机器学习

上一篇:【小白学AI】XGBoost推导详解与牛顿法


下一篇:node小程序购物车接口