文章目录
随机森林分类器 RandomForestClassifier
class sklearn.ensemble.RandomForestClassifier (n_estimators=’10’, criterion=’gini’, max_depth=None,
min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=’auto’,
max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, bootstrap=True, oob_score=False,
n_jobs=None, random_state=None, verbose=0, warm_start=False, class_weight=None)
随机森林是非常具有代表性的Bagging集成算法，它的所有基评估器都是决策树，分类树组成的森林就叫做随机森林分类器，回归树所集成的森林就叫做随机森林回归器。
Ⅰ.基本参数
| 参数 | 含义 |
|---|---|
| criterion | 不纯度的衡量指标，有基尼系数和信息熵两种选择 |
| max_depth | 树的最大深度，超过最大深度的树枝都会被剪掉 |
| min_samples_leaf | 一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分枝就不会发生. |
| min_samples_split | 一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则分枝就不会发生 |
| max_features | 限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃，默认值为总特征个数开平方取整 |
| min_impurity_decrease | 限制信息增益的大小，信息增益小于设定数值的分枝不会发生 |
这些参数在随机森林中的含义，和我们在上决策树时说明的内容一模一样，单个决策树的准确率越高，随机森林的准确率也会越高，因为装袋法是依赖于平均值或者少数服从多数原则来决定集成的结果的。
Ⅱ.重要参数 n_estimators
这是随机森林中树木的数量，即基础评估器的数量。这个参数对随机森林模型的精确性影响是单调的，n_estimators越大，模型的效果往往越好。但是相应的，任何模型都有决策边界，n_estimators达到一定的程度之后，随机森林的精确性往往不在上升或开始波动，并且，n_estimators越大，需要的计算量和内存也越大，训练的时间也会越来越长。对于这个参数，需求是渴望在训练难度和模型效果之间取得平衡。
Ⅲ.随机森林探索wine数据集
import pandas as pd
from matplotlib import pyplot as plt
from sklearn.datasets import load_wine
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
# 加载数据集
wine = load_wine()
x = wine.data
y = wine.target
# 划分测试、训练集
from sklearn.model_selection import train_test_split
xtrain,xtest,ytrain,ytest = train_test_split(x,y,test_size=0.3)
# 构建模型训练数据集
clf = DecisionTreeClassifier(random_state = 0)
rfc = RandomForestClassifier(random_state = 0)
clf = clf.fit(xtrain,ytrain)
rfc = rfc.fit(xtrain,ytrain)
# 进行模型评估
score_clf = clf.score(xtest,ytest)
score_rfc = rfc.score(xtest,ytest)
print("决策树的分类评分：",score_clf)
print("随机森林的分类评分：",score_rfc)
决策树的分类评分： 0.8888888888888888
随机森林的分类评分： 0.9814814814814815
通过结果可以看出，随机森林的模型评估比决策树要高，这也就是因为随机森林是多个不同的决策树组成的，它的结果往往是多个决策树集成而成的，相应的结果要精确些。
Ⅳ.交叉验证绘制学习曲线比较决策树与随机森林
交叉验证：是数据集划分为n份，依次取每一份做测试集，每n-1份做训练集，多次训练模型以观测模型稳定性的方法。
# 交叉验证
from sklearn.model_selection import cross_val_score
rfc = RandomForestClassifier(n_estimators=25)
rfc_cross = cross_val_score(rfc,x,y,cv=10)
clf = DecisionTreeClassifier()
clf_cross = cross_val_score(clf,x,y,cv=10)
plt.plot(range(1,11),rfc_cross,label="RandomForestClassifier")
plt.plot(range(1,11),clf_cross,label="DecisionTreeClassifier")
plt.legend()
plt.show()
通过一组价叉验证的结果还不足以说明，那么我们继续进行交叉验证，进行十组，每组都是十折，并取其平均值将结果与决策树再次进行对比。
rfc_l = []
clf_l = []
for i in range(10):
rfc = RandomForestClassifier(n_estimators=25)
rfc_cross = cross_val_score(rfc,x,y,cv=10).mean()
rfc_l.append(rfc_cross)
clf = DecisionTreeClassifier()
clf_cross = cross_val_score(clf,x,y,cv=10).mean()
clf_l.append(clf_cross)
plt.plot(range(1,11),rfc_l,label="RandomForestClassifier")
plt.plot(range(1,11),clf_l,label="DecisionTreeClassifier")
plt.legend()
plt.show()
通过下图可以明显看出，随机森林的评分基本远高于决策树，并且决策树与随机森林的变化趋势很相近，这是因为：随机森林是多个决策树的集成结果，单个决策树的准确率越高，随机森林的准确率也会越高且装袋法是依赖于平均值或者少数服从多数原则来决定集成的结果的。那么单个基础评估器的走向可能也会影响到整体随机森林的集成结果走向。
Ⅴ.绘制n_estimator学习曲线
# n_estimator学习曲线
superpa = []
for i in range(200):
rfc = RandomForestClassifier(n_estimators=i+1,n_jobs=-1)
rfc_s = cross_val_score(rfc,x,y,cv=10).mean()
superpa.append(rfc_s)
print("最高准确率：",max(superpa),"此时的列表索引为："superpa.index(max(superpa)))
plt.figure(figsize=[20,5])
plt.plot(range(1,201),superpa)
plt.show()
最高准确率：0.9888888888888889 此时的列表索引为：44
可以看出当n_estimator到达一定数值后，整体结果在0.96-0.98之间上下波动，趋于稳定。并且我们获取了最高的分类评估结果，在superpa中的索引为44，也就是在n_estimator=45的时候，随机森林分类模型效果最好。
任何模型都有决策边界，n_estimators达到一定的程度之后，随机森林的精确性往往不在上升或开始波动，并且，n_estimators越大，需要的计算量和内存也越大，训练的时间也会越来越长，这个图形足足运行了3分多钟~
Ⅵ.重要参数、属性和接口
随机森林的本质是一种装袋集成算法(bagging),装袋集成算法是对基评估器的预测结果进行平均或用多数表决原则来决定集成评估器的结果。在刚才的红酒例子中,我们建立了25棵树,对任何一个样本而言,在平均或多数表决原则下,当且仅当有13棵以上的树判断错误的时候,随机森林才会判断错误。单独一棵决策树对红酒数据集判断准确率在0.85上下浮动,假设一棵树判断错误的可能性为0.2(E),那20棵树以上都判断错误的可能性是:
其中,i是判断错误的次数,也是判错的树的数量,E是一棵树判断错误的概率,(1-E)是判断正确的概率,共判对25-i次。采用组合,是因为25棵树中,有任意棵都判断错误
import numpy as np
from scipy.special import comb
np.array([comb(25,i)*(0.2**i)*((1-0.2)**(25-i)) for i in range(13,26)]).sum()
0.00036904803455582827
可见,判断错误的几率非常小,这让随机森林在红酒数据集上的表现远远好于单棵决策树。
那现在就有一个问题了:我们说袋装法服从多数表决原则或对基分类器结果求平均,这即是说,我们默认森林中的每棵树应该是不同的,并且会返回不同的结果。设想一下,如果随机森林里所有的树的判断结果都一致(全判断对或全判断错),那随机森林无论应用何种集成原则来求结果,都应该无法比单棵决策树取得更好的效果才对。但我们使用了一样的类 DecisionTreeClassifier,一样的参数,一样的训练集和测试集,为什么随机森林里的众多树会有不同的判断结果?
问到这个问题,很多小伙伴可能就会想到了: sklearnDecision中的分类树 TreeClassifier自带随机性,所以随机森林中的树天生就都是不一样的。我们在讲解分类树时曾提到,决策树从最重要的特征中随机选择出一个特征来进行分枝,因此每次生成的决策树都不一样,这个功能由参数 random_state控制。随机森林中其实也有 random_state,用法和分类树中相似,只不过在分类树中,一个 random state只控制生成一棵树,而随机森林中的random_state控制的是生成森林的模式,而非让一个森林中只有一棵树。
参数random_state、属性estimators_
# 重要属性和接口
rfc = RandomForestClassifier(n_estimators=25,random_state=2)
rfc = rfc.fit(x,y)
# 随机森林重要的属性之一：estimators_ 用来查看森林中的数的情况
rfc.estimators_
可以看到该属性的作用是查看随机森林中 的数的情况，基本上数的信息都相差不大，主要得到区别是random_state各不相同。
遍历获取25棵树的随机种子数：
我们可以观察到,当 random_state固定时,随机森林中生成是一组固定的树,但每棵树依然是不一致的,这是用"随机挑选特征进行分枝"的方法得到的随机性。并且我们可以证明,当这种随机性越大的时候,袋装法的效果一般会越来越好。用袋装法集成时,基分类器应当是相互独立的,是不相同的。但这种做法的局限性是很强的,当我们需要成千上万棵树的时候,数据不一定能够提供成千上万的特征来让我们构筑尽量多尽量不同的树。因此,除了 random state我们还需要其他的随机性。
参数bootstrap、参数oob_score、属性oob_score_
要让基分类器尽量都不一样,一种很容易理解的方法是使用不同的训练集来进行训练,而袋装法正是通过有放回的随机抽样技术来形成不同的训练数据, bootstrap就是用来控制抽样技术的参数。
在一个含有n个样本的原始训练集中,我们进行随机采样,每次采样一个样本,并在抽取下一个样本之前将该样本放回原始训练集,也就是说下次采样时这个样本依然可能被采集到,这样采集n次,最终得到一个和原始训练集一样大的n个样本组成的自助集。由于是随机采样,这样每次的自助集和原始数据集不同,和其他的采样集也是不同的。这样我们就可以*创造取之不尽用之不竭,并且互不相同的自助集,用这些自助集来训练我们的基分类器,我们的基分类器自然也就各不相同了。
bootstrap参数默认True,代表采用这种有放回的随机抽样技术。通常,这个参数不会被我们设置为 False(如下图球模型)。
然而有放回抽样也会有自己的问题。由于是有放回,一些样本可能在同一个自助集中出现多次,而其他一些却可能被忽略,一般来说,自助集大约平均会包含63%的原始数据。因为每一个样本被抽到某个自助集中的概率为:
当n足够大时,这个概率收敛于1-(1/e),约等于0.632。因此,会有约37%的训练数据被浪费掉,没有参与建模,这些数据被称为袋外数据(out of bag data,简写为oob)。除了我们最开始就划分好的测试集之外,这些数据也可以被用来作为集成算法的测试集。也就是说,在使用随机森林时,我们可以不划分测试集和训练集,只需要用袋外数据来测试我们的模型即可。当然,这也不是绝对的,当n和 n_estimators都不够大的时候,很可能就没有数据掉落在袋外,自然也就无法使用oob数据来测试模型了。(如上图球模型二)
如果希望用袋外数据来测试,则需要在实例化时就将oob_score这个参数调整为True,训练完毕之后,我们可以用随机森林的另一个重要属性:oob_ score_来查看我们的在袋外数据上测试的结果:
# 重要属性oob_score
rfc = RandomForestClassifier(n_estimators=25,oob_score=True)
rfc = rfc.fit(x,y)
out_score = rfc.oob_score_
out_score
0.9606741573033708
feature_importance、重要接口
feature_importances_和决策树中的.feature_importances_用法和含义都一致，是返回特征的重要性。
随机森林的接口与决策树完全一致，因此依然有四个常用接口：apply、fit、predict和score。除此之外，还需要注意随机森林的predict_proba接口，这个接口返回每个测试样本对应的被分到每一类标签的概率，标签有几个分类就返回几个概率。如果是二分类问题，则predict_proba返回的数值大于0.5的，被分为1，小于0.5的，被分为0。
传统的随机森林是利用袋装法中的规则，平均或少数服从多数来决定集成的结果，而sklearn中的随机森林是平均每个样本对应的predict_proba返回的概率，得到一个平均概率，从而决定测试样本的分类。