lgb文档学习

 

 

 

 1.L1和l2损失是什么意思?

lgb文档学习

lgb文档学习

 

 

 lgb文档学习

 

 

 相较于MSE,MAE有个优点,那就是MAE对离群值不那么敏感,可以更好地拟合线性,因为MAE计算的是误差y−f(x)的绝对值,对于任意大小的差值,其惩罚都是固定的。

2.参数:

核心参数:

1.objective:lgb文档学习

 

 

 

 

 

 回归应用:用法都是:objective=type

type:

lgb文档学习

 

 

常见的有:

L2(MSE) \L1(MAE)\MAP

二分类应用:

lgb文档学习

 

 多分类应用:

lgb文档学习

 

 交叉熵应用:

lgb文档学习

 

 排序应用:

lgb文档学习

2.boosting

lgb文档学习

 

 默认使用gbdt,梯度下降决策树

3.data:

lgb文档学习

 

 指的是训练数据

4.valid:

lgb文档学习

 

 指的是验证集(训练集)的路径或文件,支持多个验证集

 

5.num_iterations:

lgb文档学习

 

 迭代次数(增益次数)

6.learning_rate:

lgb文档学习

 

必须大于零的收缩率,双精度小数

 

7.num_leaves:

lgb文档学习

 

 大于1,一颗树中的叶子的最大个数

8.tree _learner:

lgb文档学习

 

 学习器是平行的还是单机学习,是数据平行还是特征平行

9.num_threads

lgb文档学习

 

 线程数目

10.device_type

lgb文档学习

 

 建立GPU支持后可以用GPU跑

11.seed

lgb文档学习

 

 一般都是用random_state,可以时间点。实现每次运行程序划分的训练集和测试集都是同一个

使用控制参数:

1. force_col_wise:

lgb文档学习

 

 特征非常多,线程数目特别多才会推荐使用

2.histogram_pool_size:

lgb文档学习

 

 设置直方图的最大缓存数,<0代表没有限制

3.max_depth:

lgb文档学习

 

 设置最大深度防止过拟合,<=0代表没有限制

4.min_data_in_leaf:

lgb文档学习

 

 设置一个叶子的最小数据量

5.bagging_fraction:

lgb文档学习

 

小部分装袋:防止过拟合和加快训练 

6.pos_bagging_fraction

lgb文档学习

 

 

 用于二分类问题

7.neg_bagging_fraction

lgb文档学习

 

 

 (0,1] 只能用于二分类

8.bagging_freq

lgb文档学习

每k 此迭代执行一次bagging 随机选择bagging_fraction*100%的数据用于下一次迭代

 9.bagging_seed

用于固定打包时间

10.feature_fraction

lgb文档学习

 

 

在训练每棵树前 随机选择feature_fraction*100%的特征,值大小为(0,1]

11.feature_fraction_bynode

lgb文档学习

 

 

 在每棵树节点随机选择一个特征子集

12.feature_fraction_seed

lgb文档学习

 

 

 用于固定每次的抽取的部分特征

13.extra_trees

lgb文档学习

 

 

 使用极度随机的树

14.extra_seed

lgb文档学习

 

 

 固定extra_trees的时间

15.early_stopping_round

lgb文档学习

 如果在到达设置的提前停止轮内,验证集的某个评价指标没有提高,训练就会停止.,否则继续训练

16.first_metric_only

lgb文档学习

 

 

 17.max_delta_step:

lgb文档学习

 

 

用于限制最大叶子输出

18.

lambda_l1:L1正则项

lambda_l2:L2正则项

lgb文档学习

 

 

 19.linear_lambda:

lgb文档学习

 

 

 适用于线性回归树

20.min_gain_to_split:

lgb文档学习

 

 

 执行分割的最小增益,可用于加速训练

21.drop_rate:  

[0,1]

lgb文档学习

 

 

 只适用于dart模式下的 丢弃先前的树

22.max_drop

lgb文档学习

 

 

 在一次增益迭代中丢弃的最大数目,适用于dart模式

23.skip_drop

取值[0,1],lgb文档学习

 

 

 设置在dart模式下跳过dropout的概率

24.xgboost_dart_mode

lgb文档学习

 

 

 

设置是否采用xgboost里的dart模块

25.uniform_drop

lgb文档学习

 

 

 随机均衡丢弃

26.

drop_seed:

lgb文档学习

 

 

 确定选择丢弃模型的时间

goss模型:

27.

top_rate

  lgb文档学习

 

 

大梯度数据的保存概率

28.

other_rate:

lgb文档学习

 

 

 小梯度数据的保存概率

29.

min_data_per_group

每种类别组的最小数据量的数据

lgb文档学习

 

 

30.max_cat_threshold

lgb文档学习

为类别特征设置限制分割点数量

类别型特征
类别型特征(Categorical Feature)主要是指只在有限选项内取值的特征。例如性别(男、女)、成绩等级(A、B、C)等。通常以字符串形式输入,除了决策树等少数模型能直接处理字符串形式的输入,逻辑回归、支持向量机等模型的输入必须是数值型特征才能正确工作。

31.cat-l2

lgb文档学习

 

 类别分割中的正则项

32.cat_smooth

lgb文档学习

 

 可以降低类别特征中的噪声,尤其是小样本。

33.max_cat_to_onehot

lgb文档学习

 

 34.top_k

lgb文档学习

 

仅仅适用于 voting tree learner

35.monotone_constraints

lgb文档学习

 

 单调特征

36.monotone_constraints_method

lgb文档学习

 

 37.monotone_penalty:单调惩罚

lgb文档学习

 

 38.verbosity

lgb文档学习

 

 一般就是默认选1,显示信息

39.max_bin

lgb文档学习

 

 

 将被分桶的特征值的最大分桶数量

40 max_bin_by_feature:

lgb文档学习

 

 

每个特征的最大分箱数量

41.min_data_in_bin

lgb文档学习

 

 

 避免一箱一数据,防止过拟合

42.bin_construct_sample_cnt

lgb文档学习

 

 

 被采样用于创建特征离散箱的数据数量

 loading data directly from text file

直接从testfile中载入数据

43.label_column:

lgb文档学习

 

 

   用于指定标签列

44.weight_column:

用于指定权重列

45.group_column:

lgb文档学习

 

 46.ignore_column

lgb文档学习

 47.catagorical_feature

lgb文档学习

 

 规定一些列是类别特征

Predict Parameters3

48.start_iteration_predict:

lgb文档学习

 

 49.num_iteration_predict

lgb文档学习

 

 50.predict_raw_score:

lgb文档学习

 

 布尔型,=True是只预测初始得分

51 .predict_leaf_index:

lgb文档学习

 

52.pred_early_stop:

lgb文档学习

 

 仅使用于分类和排序应用

==true会使用early-stopping来加速预测,可能会影响精度

53.pred_early_stop_margin:

lgb文档学习

 

 在预测中边界的阈值

54.

  

 

上一篇:feature map 可视化


下一篇:学习Java设计模式的10条建议