实验三、数据挖掘之决策树

一、实验目的

1. 熟悉掌握决策树的原理，

2. 熟练掌握决策树的生成方法与过程

二、实验工具

1. Anaconda

2. sklearn

3. pydotplus

三、实验简介

决策树是一个非参数的监督式学习方法，主要用于分类和回归。算法的目标是通过推断数据特征，学习决策规则从而创建一个预测目标变量的模型。

四、实验内容

1. 自己创建至少2个向量，每个向量至少1个属性和1个类标号，根据向量生成决策树，并利用该决策树进行预测。如：

from sklearn import tree
X = [[10, 20], [15, 17],[23,21],[50,20],[20,34]]
Y = [0, 1,0,1,1]
clf = tree.DecisionTreeClassifier()
clf = clf.fit(X, Y)

clf.predict([[22., 22.]])
clf.predict_proba([[22., 22.]])       #计算属于每个类的概率

要求根据要求随机生成数据，并构建决策树，并举例预测。

2. 对鸢尾花数据构建决策树，

(1) 调用数据的方法如下：

from sklearn.datasets import load_iris
iris = load_iris()# 从sklearn 数据集中获取鸢尾花数据。

(2) 利用sklearn中的决策树方法对鸢尾花数据建立决策树
(3) 为了能够直观看到建好的决策树，安装 pydotplus, 方法如下：

pip install pydotplus

pydotplus使用方法

import pydotplus #引入pydotplus
dot_data = tree.export_graphviz(clf, out_file=None) 
graph = pydotplus.graph_from_dot_data(dot_data) 
graph.write_pdf("iris.pdf")#将图写成pdf文件

五、实验总结（写出本次实验的收获，遇到的问题等）

---

1、自己创建两个变量，建立决策树，并进行预测

from sklearn import tree
X = [[20, 21], [22, 23]]
Y = [0, 1]
clf = tree.DecisionTreeClassifier()
clf = clf.fit(X, Y)

print(clf.predict([[22., 22.]]))
print(clf.predict_proba([[22., 22.]]))     #计算属于每个类的概率

2、对鸢尾花数据构建决策树，并通过pydotplus，将决策树生成为pdf文件。

from sklearn.datasets import load_iris
import pydotplus #引入pydotplus
from sklearn import tree

iris = load_iris()# 获取鸢尾花数据。

mode = tree.DecisionTreeClassifier()

clf = mode.fit(iris.data, iris.target)

dot_data = tree.export_graphviz(clf, out_file=None)
graph = pydotplus.graph_from_dot_data(dot_data)
graph.write_pdf("iris.pdf")#将图写成pdf文件

3、根据给的数据集自己编写决策树构建程序

#  X 每个数组包括 
#Refund				yes = 1       no=0,
#Marital Status		single = 0    married = 1    divorce = 2，
#Taxable Income		<80k = 0      >=80 = 1、
#Cheat				yes = 1       no = 0

X = [
    [1, 0, 1],
    [0, 1, 1],
    [0, 0, 0],
    [1, 1, 1],
    [0, 2, 1],
    [0, 1, 0],
    [1, 2, 1],
    [0, 0, 1],
    [0, 1, 0],
    [0, 0, 1]
]

Y = [0, 0, 0, 0, 1, 0, 0, 1, 0, 1]

mode = tree.DecisionTreeClassifier()

clf = mode.fit(X, Y)

dot_data = tree.export_graphviz(clf, out_file=None)
graph = pydotplus.graph_from_dot_data(dot_data)
graph.write_pdf("fyy.pdf")#将图写成pdf文件

五、实验总结

• 学会了使用
  tree.DecisionTreeClassifier()方法
  tree.DecisionTreeClassifier().fit（）方法
  tree.export_graphviz()方法，
  pydotplus.graph_from_dot_data()方法等等。

• 成功使用鸢尾花数据生成决策树。

• 成功利用pydotplus生成pdf文件。

• 自己写构建决策树的算法还有一点问题，主要是逻辑比较复杂，有点弄不明白。

• 对决策树的算法有了更深的了解。