(1)C4.5算法的特点为:
输入变量(自变量):为分类型变量或连续型变量。
输出变量(目标变量):为分类型变量。
连续变量处理:N等分离散化。
树分枝类型:多分枝。
分裂指标:信息增益比率gain ratio(分裂后的目标变量取值变异较小,纯度高)
前剪枝:叶节点数是否小于某一阈值。
后剪枝:使用置信度法和减少-误差法。
(2)CART算法的特点为:
输入变量(自变量):为分类型变量或连续型变量。
输出变量(目标变量):为分类型变量(或连续型:回归分析)
连续变量处理:N等分离散化。
树分枝类型:二分枝。
分裂指标:gini增益(分裂后的目标变量取值变异较小,纯度高)。
前剪枝:maxdepth,minsplit,minbucket,mincp
后剪枝:使用最小代价复杂度剪枝法(MCCP)
(3)条件推理决策树(CHAID,QUEST)算法的特点为:
输入变量(自变量):为分类变量或连续型变量。
输出变量(目标变量):为分类型变量(或连续型:回归分析)。
连续变量处理:N等分离散化。
树分枝类型:二分枝(以party包中的ctree函数为例)。
分裂指标:独立性检验和相关性(分裂后自变量与目标变量的相关性)
------------------------------------------------------------------------------------
补充:随机森林算法介绍
随机森林是一种专门为决策树分类器设计的优化方法。它综合了多棵决策树模型的预测结果,其中的每棵树都是基于样本的一个独立集合的值产生的。
随机森林算法的一般步骤为:首先固定概率分布,从原始训练集中可重复地选取N个样本形成t个子训练集,然后使用这t个子训练集产生t棵决策树。最后把这t棵决策树综合组成一棵决策树。
在R语言中,基于CART算法的随机森林算法所涉及的函数是rpart包的randomForest函数,基于条件推理决策树算法的随机森林算法所涉及的函数是party包的cforest函数。
一般来说,随机森林算法的效果要比一般的决策树均好很多。
-------------------------------------------------------------------------------------
装袋算法与随机森林相对而言会生成多个树模型,再进行组合预测,其效果远大于单个树模型。装袋算法(bagging)采取自助法的思路,从样本中随机抽样,形成多个训练样本,生成多个树模型。然后以多数投票的方式来预测结果。随机森林则(randomForest)更进一步,不仅对样本进行抽样,还对变量进行抽样。