-
Xgboost参数
- 'booster':'gbtree',
- 'objective': 'multi:softmax', 多分类的问题
- 'num_class':10, 类别数,与 multisoftmax 并用
- 'gamma':损失下降多少才进行分裂
- 'max_depth':12, 构建树的深度,越大越容易过拟合
- 'lambda':2, 控制模型复杂度的权重值的L2正则化项参数,参数越大,模型越不容易过拟合。
- 'subsample':0.7, 随机采样训练样本
- 'colsample_bytree':0.7, 生成树时进行的列采样
- 'min_child_weight':3, 孩子节点中最小的样本权重和。如果一个叶子节点的样本权重和小于min_child_weight则拆分过程结束
- 'silent':0 ,设置成1则没有运行信息输出,最好是设置为0.
- 'eta': 0.007, 串行加树的占比,如同学习率
- 'seed':1000,
- 'nthread':7, cpu 线程数(看cup性能调节)
-
XGBoost 参数调节
- Step 1: 选择一组初始参数
- Step 2: 控制树模型的复杂程度,改变
max_depth
和min_child_weight
.
- Step 3: 调节
gamma
降低模型过拟合风险.
- Step 4: 调节
subsample
和colsample_bytree
改变数据采样策略.
- Step 5: 调节学习率
eta
.
相关文章
- 12-27【机器学习】Optuna机器学习模型调参(LightGBM、XGBoost)
- 12-27DL之CNN:计算机视觉之卷积神经网络算法的简介(经典架构/论文)、CNN优化技术、调参学习实践、CNN经典结构及其演化、案例应用之详细攻略
- 12-27强化学习调参实践
- 12-27机器学习(上)-如何对模型超参数进行调参
- 12-27深度学习-调参
- 12-27机器学习--Xgboost调参
- 12-27pyspark学习之——逻辑回归、模型选择与调参
- 12-27机器学习 xgboost 笔记
- 12-27Python机器学习(Sebastian著 ) 学习笔记——第六章模型评估与参数调优实战(Windows Spyder Python 3.6)
- 12-27ROS学习笔记之——无人机PID调参过程记录2