文章目录

• 前言
• 一、重要参数
• • 1.1 criterion
  • • 建立一棵树的步骤
  • 1.2 random_state & splitter
  • • 1.2.1 建立树的第五步（建立模型）添加参数
  • 1.3 剪枝参数
  • • 1.3.1 查看对训练集的拟合效果如何
    • 1.3.2 max_depth
    • 1.3.3 min_samples_leaf & min_samples_split
    • 1.3.4 建立树的第五步（建立模型）添加上述参数
    • 1.3.5 max_features & min_impurity_decrease
    • 1.3.6 确认最优的剪枝参数
  • 1.4 目标权重参数(重要但是不常用)
  • • 1.4.1 **class_weight & min_weight_fraction_leaf**
• 二、重要的属性和接口
• 总结

---

前言

使用红酒数据集来进行对决策树中分类树（tree.DecisionTreeClassififier）的学习

---

一、重要参数

1.1 criterion

为了要将表格转化为一棵树，决策树需要找出最佳节点和最佳的分枝方法，对分类树来说，衡量这个“最佳”的指标叫做“不纯度”。通常来说，不纯度越低，决策树对训练集的拟合越好。现在使用的决策树算法在分枝方法上的核心大多是围绕在对某个不纯度相关指标的最优化上。
不纯度基于节点来计算，树中的每个节点都会有一个不纯度，并且子节点的不纯度一定是低于父节点的，也就是说，在同一棵决策树上，叶子节点的不纯度一定是最低的。

criterion参数是用来决定不纯度的计算方法的。sklearn提供了两种选择：
1）输入”entropy“，使用信息熵（Entropy）

2）输入”gini“，使用基尼系数（Gini Impurity）

其中t代表给定的节点，i代表标签的任意分类，p(i|t)代表标签分类i在节点t上所占的比例。注意，当使用信息熵时，sklearn实际计算的是基于信息熵的信息增益(Information Gain)，即父节点的信息熵和子节点的信息熵之差。

• 信息熵与基尼系数的比较

  比起基尼系数，信息熵对不纯度更加敏感，对不纯度的惩罚最强。在实际使用中，信息熵和基尼系数的效果基本相同。信息熵的计算比基尼系数缓慢一些，因为基尼系数的计算不涉及对数。另外，因为信息熵对不纯度更加敏感，所以信息熵作为指标时，决策树的生长会更加“精细”，因此对于高维数据或者噪音很多的数据，信息熵很容易过拟合，基尼系数在这种情况下效果往往比较好。

参数	criterion
如何影响模型?	确定不纯度的计算方法，帮忙找出最佳节点和最佳分枝，不纯度越低，决策树对训练集的拟合越好
可能的输入有哪些？	不填默认基尼系数，填写gini使用基尼系数，填写entropy使用信息增益
怎样选取参数？	通常就使用基尼系数，数据维度很大，噪音很大时使用基尼系数，维度低，数据比较清晰的时候，信息熵和基尼系数没区别，当决策树的拟合程度不够的时候，使用信息熵，两个都试试，不好就换另外一个

• 决策树的基本流程简单概况如下：
  
  直到没有更多的特征可用，或整体的不纯度指标已经最优，决策树就会停止生长。

---

建立一棵树的步骤

1. 导入需要的算法库和模块

   from sklearn import tree #决策树的类都在这个tree模块下
   from sklearn.datasets import load_wine #load_wine是红酒数据集，datasets内包含很多种数据集
   from sklearn.model_selection import train_test_split#用于切分数据集，分割出训练集和测试集
   

2. 对数据的探索

   wine = load_wine()#红酒数据集
   
   '''
   可以取出数据进行观看
   '''
   wine.data
   wine.target
   wine.data.shape#data的结构几行几列
   

   
   
   

3. 将数据集表格化观察

   import pandas as pd
   pd.concat([pd.DataFrame(wine.data),pd.DataFrame(wine.target)],axis=1)
   '''
   将data和target表格化并且以列的形式拼接
   '''
   

   

4. 分隔训练集和测试集

   Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data, wine.target, test_size=0.3)
   '''
   train_test_split划分测试集和训练集是随机划分的
   
   wine.data: 特征数据
   wine.target: 标签
   test_size: 百分之三十用于做测试集，百分之七十用于做训练集
   前面变量的顺序需要注意，如果弄错了会非常麻烦
   '''
   Xtrain.shape#查看分好的结构
   

5. 建立模型

   clf = tree.DecisionTreeClassifier(criterion='entropy')#如果不填写默认的是基尼系数
   
   clf = clf.fit(Xtrain,Ytrain)#用于训练的接口
   score = clf.score(Xtest,Ytest)#将测试集带入返回预测的准确度
   

6. 画出树

   import graphviz
   
   #特征名称
   feature_name = ['酒精','苹果酸','灰','灰的碱性','镁','总酚','类黄酮','非黄烷类酚类','花青素','颜色强度','色调','od280/od315稀释葡萄酒','脯氨酸']
   
   #使用export_graphviz画树
   dot_data = tree.export_graphviz(clf
                                   ,feature_names = feature_name
                                   ,class_names = ["琴酒","雪莉","贝尔摩德"]
                                   ,filled = True
                                   ,rounded = True
   								)
   '''
   clf: 上方已经训练好的模型
   feature_names: 特征名称
   class_names: 标签名称
   filled: 填充颜色，同一种类颜色相同，颜色越深，不纯度越低
   rounded: 方框变成圆角
   '''
   
   #将画出的树导出来
   graph = graphviz.Source(dot_data)
   

   

7. 探索决策树

   clf.feature_importances_
   '''
   得到使用的特征的重要性，如果没有使用某个特征，那个特征的重要性为0，对决策树贡献越大的重要性越高
   根节点永远是贡献最多的
   '''
   

   

   [*zip(feature_name,clf.feature_importances_)]
   '''
   将特征名和重要性使用元组的形式来对应
   *zip()是zip函数的逆过程
   '''
   

   

1.2 random_state & splitter

• random_state:

  用来设置分枝中的随机模式的参数，默认None，在高维度时随机性会表现更明显，低维度的数据
  （比如鸢尾花数据集），随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。

  白话解释
  （随机数种子，如果不设置随机数种子，score准确度每次都会改变，设置随机数种子方便寻找到更加准确的一个score，数值随意，得到的score越高越好）

• splitter:

  也是用来控制决策树中的随机选项的，有两种输入值，输入”best"，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看），输入“random"，决策树在分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。这也是防止过拟合的一种方式。当你预测到你的模型会过拟合，用这两个参数来帮助你降低树建成之后过拟合的可能性。

---

1.2.1 建立树的第五步（建立模型）添加参数

clf = tree.DecisionTreeClassifier(criterion="entropy"
                                 ,random_state=30
                                 ,splitter="random"
                                 )

clf = clf.fit(Xtrain,Ytrain)#用于训练的接口
score = clf.score(Xtest,Ytest)#将测试集带入返回预测的准确度

---

1.3 剪枝参数

为了让决策树有更好的泛化性，我们要对决策树进行剪枝。剪枝策略对决策树的影响巨大，正确的剪枝策略是优化决策树算法的核心。

在不加限制的情况下，一棵决策树会生长到衡量不纯度的指标最优，或者没有更多的特征可用为止。这样的决策树往往会过拟合，这就是说，它会在训练集上表现很好，在测试集上却表现糟糕。我们收集的样本数据不可能和整体的状况完全一致，因此当一棵决策树对训练数据有了过于优秀的解释性，它找出的规则必然包含了训练样本中的噪声，并使它对未知数据的拟合程度不足。

---

1.3.1 查看对训练集的拟合效果如何

score_train = clf.score(Xtrain, Ytrain)
score_train

---

1.3.2 max_depth

限制树的最大深度，超过设定深度的树枝全部剪掉。
这是用得最广泛的剪枝参数，在高维度低样本量时非常有效。决策树多生长一层，对样本量的需求会增加一倍，所以限制树深度能够有效地限制过拟合。在集成算法中也非常实用。实际使用时，建议从=3开始尝试，看看拟合的效果再决定是否增加设定深度。

---

1.3.3 min_samples_leaf & min_samples_split

• min_samples_leaf

  一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分枝就不会发生，或者，分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向去发生(白话解释：设置参数之后节点分支之后的子节点样本个数必须满足参数设置的个数，否则就不会分支，也有可能会重新构建，分支会向着满足参数设置的个数进行分支)

  一般搭配max_depth使用，在回归树中有神奇的效果，可以让模型变得更加平滑。一般来说，建议从=5开始使用。如果叶节点中含有的样本量变化很大，建议输入浮点数作为样本量的百分比来使用。同时，这个参数可以保证每个叶子的最小尺寸，可以在回归问题中避免低方差，过拟合的叶子节点出现。对于类别不多的分类问题，=1通常就是最佳选择。

• min_samples_split
  一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则分枝就不会发生。

---

1.3.4 建立树的第五步（建立模型）添加上述参数

clf = tree.DecisionTreeClassifier(criterion="entropy"
                                 ,random_state=30
                                 ,splitter="random"
                                 ,max_depth=3
                                 ,min_samples_leaf=5
                                 ,min_samples_split=5
                                 )

clf = clf.fit(Xtrain,Ytrain)#用于训练的接口
score = clf.score(Xtest,Ytest)#将测试集带入返回预测的准确度

---

1.3.5 max_features & min_impurity_decrease

• max_features:
  限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃。

  限制高维度数据的过拟合的剪枝参数，但其方法比较暴力，是直接限制可以使用的特征数量而强行使决策树停下的参数，在不知道决策树中的各个特征的重要性的情况下，强行设定这个参数可能会导致模型学习不足。如果希望通过降维的方式防止过拟合，建议使用PCA，ICA或者特征选择模块中的降维算法

• min_impurity_decrease
  限制信息增益的大小，信息增益小于设定数值的分枝不会发生。

---

1.3.6 确认最优的剪枝参数

确定最优参数就是确定参数最优应该填什么值

使用超参数的曲线来进行判断

超参数的学习曲线，是一条以超参数的取值为横坐标，模型的度量指标为纵坐标的曲线，它是用来衡量不同超参数取值下模型的表现的线。

在我们建好的决策树里，我们的模型度量指标就是score。

import matplotlib.pyplot as plt
test = []
for i in range(10):
    clf = tree.DecisionTreeClassifier(criterion='entropy'
                                 ,random_state=0
                                 ,splitter='random'
                                 ,max_depth=i+1
                                 )
    clf = clf.fit(Xtrain,Ytrain)
    score = clf.score(Xtest,Ytest)
    test.append(score)
plt.plot(range(1,11),test,color="red",label="max_depth")
plt.legend()
plt.show()

---

1.4 目标权重参数(重要但是不常用)

1.4.1 class_weight & min_weight_fraction_leaf

• class_weight
  完成样本标签平衡的参数。

  样本不平衡是指在一组数据集中，标签的一类天生占有很大的比例。比如说，在银行要判断“一个办了信用卡的人是否会违约”，就是是vs否（1%：99%）的比例。这种分类状况下，即便模型什么也不做，全把结果预测成“否”，正确率也能有99%。

  给少量的标签更多的权重，让模型更偏向少数类，向捕获少数类的方向建模。该参数默认None，此模式表示自动给与数据集中的所有标签相同的权重

• min_weight_fraction_leaf
  有了权重之后，样本量就不再是单纯地记录数目，而是受输入的权重影响了，因此这时候剪枝，就需要搭配min_weight_fraction_leaf这个基于权重的剪枝参数来使用。

• 注意：
  基于权重的剪枝参数（例如min_weight_fraction_leaf）将比不知道样本权重的标准（比如min_samples_leaf）更少偏向主导类。如果样本是加权的，则使用基于权重的预修剪标准来更容易优化树结构，这确保叶节点至少包含样本权重的总和的一小部分

---

二、重要的属性和接口

属性是在模型训练之后，能够调用查看的模型的各种性质。

对决策树来说，最重要的是feature_importances_，能够查看各个特征对模型的重要性。

接口

sklearn中许多算法的接口都是相似的，比如说我们之前已经用到的fifit和score，几乎对每个算法都可以使用。

常用接口还有apply和predict

• apply
  输入测试集返回每个测试样本所在的叶子节点的索引

• predict
  输入测试集返回每个测试样本的标签

• 注意
  所有接口中要求输入X_train和X_test的部分，输入的特征矩阵必须至少是一个二维矩阵。sklearn不接受任何一维矩阵作为特征矩阵被输入，如果你的数据的确只有一个特征，那必须用reshape(-1,1)来给矩阵增维；如果你的数据只有一个特征和一个样本，使用reshape(1,-1)来给你的数据增维。

#apply返回每个测试样本所在的叶子节点的索引
clf.apply(Xtest)
#predict返回每个测试样本的分类/回归结果
clf.predict(Xtest)

---

总结

八个参数：Criterion，两个随机性相关的参数（random_state，splitter），五个剪枝参数（max_depth,min_samples_split，min_samples_leaf，max_feature，min_impurity_decrease）

一个属性：feature_importances_

四个接口：fifit，score，apply，predict