决策树：

定义：决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

信息的度量和作用：

比特：通信数学原理，奠定现代信息论的基础

信息熵：

信息和消除不确定性是相联系的

信息增益：

决策树的划分依据

信息增益表示得知特征X的信息而使得类Y的信息的不正确性减少的程度

sklearn决策树API：  class sklearn.tree.DecisionTreeClassifier(criterion=’gini’, max_depth=None,random_state=None)

•决策树分类器

•criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’

•max_depth:树的深度大小

•random_state:随机数种子

•method:

•decision_path:返回决策树的路径

其他分类依据：

ID3：信息增益 最大的准则

C4.5：信息增益比 最大的准则

CART：

回归树：平方误差最小

分类树：肯尼系数  最小的准则  在 sklearn中可以选择划分的原则

决策树案例：

决策树的流程：

1、pd读取数据

2、选择有影响的特征，处理缺失值

3、进行特征工程，pd转换字典，特征抽取（x_train.to_dict(orient="records")）

4、决策树估计器流程

决策树的结构、本地保存：

1、sklearn.tree.export_graphviz()  该函数导出DOT格式：tree.export_graphviz(estimator,out_file='tree.dot’,feature_names=[‘’,’’])

2、工具：安装graphviz（能够将dot文件转化成pdf、png）

3、运行命令：dot -Tpng tree.dot -o tree.png

import pandas as pd
from sklearn.model_selection import cross_val_score
from sklearn import tree
from sklearn.preprocessing import LabelEncoder
from sklearn.tree import export_graphviz
df = pd.read_csv('F:\\python\\python docment\\Titanic\\train.csv')
df.Age.fillna(df.Age.mean(),inplace=True)
print(df.head())
print(df.info())
print(df.Age.mean())
print(df.Age.median())
le = LabelEncoder()
le.fit(df['Sex'])
#用离散值转化标签值
df['Sex'] = le.transform(df['Sex'])
print(df.Sex)
#建模预测
features = ["Pclass","Sex","Age","SibSp","Parch"]
X = df[features]
y = df['Survived']
dt = tree.DecisionTreeClassifier()
score = cross_val_score(dt,X,y,cv=5,scoring='accuracy')
import numpy as np
print(np.mean(score))
#决策树可视化
dt.fit(X,y)
with open("F:/python/python docment/Titanic.dot",'w') as f:
    f = export_graphviz(dt,feature_names=['Pcalss','Sex','Age','SibSp','Parch'],out_file=f)

决策树的优缺点：

优点：

1、简单的理解和解释，树木可视化

2、需要较少的数据准备，其他技术通常需要数据归一化

缺点：

决策树学习者可以创建不能很好地推广数据的过于复杂的树

改进：

1、剪枝cart算法（决策树API已经实现）

2、随机森林（准确率比较高）

随机森林：

定义：包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定

集成学习方法：

集成学习通过建立多个模型组合的来解决单一预测问题，她的工作原理就是生成多个分类器/模型，各自独立地学习和做出预测。这些预测最后结合成单预测，因此由于任何一个单分类的做出预测

单个树建立过程：（N个样本，M个特征）

1、随机在N个样本中选择一个样本，重复N次，样本有可能重复

2、随机在M个特征中选出m个特征

3、随机又放回的抽样（boot）

API：class sklearn.ensemble.RandomForestClassifier(n_estimators=10, criterion=’gini’max_depth=None, bootstrap=True, random_state=None)

随机森林：

n_estimator决策树的数量

maxx_depth：每课书的深度限制

案例分析：

from sklearn.datasets import load_iris
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import  train_test_split
from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV
import pandas as pd
import numpy as np
def decision():
    #获取数据
    titan = pd.read_csv("F:\\python\\python docment\\Titanic\\train.csv")
    #处理数据，找出特征值和目标值
    x = titan[['Pclass', 'Age', 'Sex']]
    y = titan['Survived']
 #缺失值处理
    x['Age'].fillna(x['Age'].mean(), inplace=True)
    #分割数据到训练集和测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
    #进行处理特征工程
    dict = DictVectorizer(sparse=False)
    x_train = dict.fit_transform(x_train.to_dict(orient="records"))

    x_test = dict.transform(x_test.to_dict(orient="records"))
    print(x_train)
  #随机森林的结构
    rf = RandomForestClassifier()
    param = {"n_estimators": [120,200,300,500,800,1200],"max_depth": [5,8,15,30]}

    #网格搜索与交叉验证
    gc = GridSearchCV(rf, param_grid=param,cv=5)
    gc.fit(x_train,y_train)
    print("准确率：",gc.score(x_test,y_test))
    print("查看选择的参数模型",gc.best_params_)
    return None
if __name__ == "__main__":
    decision()

随机森林的优点：

1、在当前所有算法中，具有极好的准确率

2、能够有效运行在大数据集上

3、能够处理具有较高维度的输入样本，而且不需要降维

4、能够评估各个特征在分类问题上的重要性