1 简介
1.1 介绍
1.2 生成步骤
CART树算法由以下两步组成:
(1)决策树生成:基于训练数据集生成决策树,生成的决策树要尽量大;
(2)决策树剪枝:用验证数据集对己生成的树进行剪枝并选择最优子树,这时用损失函数址小作为剪枝的标准。
2 算法
2.1 回归树
对回归树用平方误差最小化准则,生成二叉树。
2.1.1 回归树生成
2.2 分类树
对分类树用基尼指数(Gini imlex)最小化准则,进行特征选择,生成二叉树。
2.2.1 分类树生成
2.3 剪枝
CART剪枝算法由两步组成:
首先从生成算法产生的决策树底端开始不断剪枝,直到的根结点,形成一个子树序列
然后通过交叉验证法在独立的验证数据集上对子树序列进行测试,从中选择最优子树。
2.3.1 流程一 剪枝,形成一个子树序列
2.3.2 最优子树
2.3.3 剪枝最终算法