李航统计学习方法(第二版)(十):决策树CART算法

1 简介

1.1 介绍

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

1.2 生成步骤

CART树算法由以下两步组成:
(1)决策树生成:基于训练数据集生成决策树,生成的决策树要尽量大;
(2)决策树剪枝:用验证数据集对己生成的树进行剪枝并选择最优子树,这时用损失函数址小作为剪枝的标准。

2 算法

2.1 回归树

对回归树用平方误差最小化准则,生成二叉树。

2.1.1 回归树生成

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

2.2 分类树

对分类树用基尼指数(Gini imlex)最小化准则,进行特征选择,生成二叉树。

2.2.1 分类树生成

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

2.3 剪枝

CART剪枝算法由两步组成:

首先从生成算法产生的决策树李航统计学习方法(第二版)(十):决策树CART算法底端开始不断剪枝,直到李航统计学习方法(第二版)(十):决策树CART算法的根结点,形成一个子树序列李航统计学习方法(第二版)(十):决策树CART算法

然后通过交叉验证法在独立的验证数据集上对子树序列进行测试,从中选择最优子树。
2.3.1 流程一 剪枝,形成一个子树序列

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

2.3.2 最优子树

李航统计学习方法(第二版)(十):决策树CART算法

2.3.3 剪枝最终算法

李航统计学习方法(第二版)(十):决策树CART算法

李航统计学习方法(第二版)(十):决策树CART算法

上一篇:re.match re.search re.findall区别


下一篇:ural 1572 Yekaterinozavodsk Great Well