机器学习--Xgboost调参

  • Xgboost参数

    • 'booster':'gbtree',
    • 'objective': 'multi:softmax', 多分类的问题
    • 'num_class':10, 类别数,与 multisoftmax 并用
    • 'gamma':损失下降多少才进行分裂
    • 'max_depth':12, 构建树的深度,越大越容易过拟合
    • 'lambda':2, 控制模型复杂度的权重值的L2正则化项参数,参数越大,模型越不容易过拟合。
    • 'subsample':0.7, 随机采样训练样本
    • 'colsample_bytree':0.7, 生成树时进行的列采样
    • 'min_child_weight':3, 孩子节点中最小的样本权重和。如果一个叶子节点的样本权重和小于min_child_weight则拆分过程结束
    • 'silent':0 ,设置成1则没有运行信息输出,最好是设置为0.
    • 'eta': 0.007, 串行加树的占比,如同学习率
    • 'seed':1000,
    • 'nthread':7, cpu 线程数(看cup性能调节)
  • XGBoost 参数调节

    • Step 1: 选择一组初始参数
    • Step 2: 控制树模型的复杂程度,改变 max_depth 和 min_child_weight.
    • Step 3: 调节 gamma 降低模型过拟合风险.
    • Step 4: 调节 subsample 和 colsample_bytree 改变数据采样策略.
    • Step 5: 调节学习率 eta.
上一篇:XGboost数据比赛实战之调参篇(完整流程)


下一篇:Machine Learning Mastery 博客文章翻译:XGBoost