Python实战开发及案例分析（9）—— 决策树

2024-05-07 15:52:02

决策树是一种用于分类和回归的机器学习模型。它通过学习一系列的决策规则将数据分成不同的类别或预测数值。决策树在构建时依赖于属性选择度量，如信息增益、基尼系数等。

在Python中，我们可以使用scikit-learn库来快速构建和使用决策树模型。下面是一个基于决策树的分类和回归的案例分析。

案例分析：决策树分类

我们将使用scikit-learn的决策树分类器对鸢尾花数据集进行分类。鸢尾花数据集包含了三种鸢尾花的四个特征（花萼和花瓣的长度和宽度），并需要根据这些特征对鸢尾花的种类进行分类。

Python 实现：

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report, confusion_matrix
import matplotlib.pyplot as plt
from sklearn import tree

# 加载鸢尾花数据集
iris = datasets.load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建决策树分类器并训练
clf = DecisionTreeClassifier(random_state=42)
clf.fit(X_train, y_train)

# 预测测试集结果
y_pred = clf.predict(X_test)

# 输出混淆矩阵和分类报告
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

# 绘制决策树
plt.figure(figsize=(12, 8))
tree.plot_tree(clf, feature_names=iris.feature_names, class_names=iris.target_names, filled=True)
plt.show()

解释：

DecisionTreeClassifier：用于创建决策树分类模型。
plot_tree：绘制决策树，展示决策路径。

案例分析：决策树回归

决策树也可以用于回归问题。在这个案例中，我们将使用波士顿房价数据集来预测房屋的价格。

Python 实现：

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import mean_squared_error
import matplotlib.pyplot as plt

# 加载波士顿房价数据集
boston = datasets.load_boston()
X, y = boston.data, boston.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建决策树回归模型并训练
regressor = DecisionTreeRegressor(random_state=42)
regressor.fit(X_train, y_train)

# 预测测试集结果
y_pred = regressor.predict(X_test)

# 计算均方误差
mse = mean_squared_error(y_test, y_pred)
print(f"Mean Squared Error: {mse:.2f}")

# 绘制特征重要性
plt.figure(figsize=(8, 6))
plt.barh(boston.feature_names, regressor.feature_importances_)
plt.xlabel("Feature Importance")
plt.ylabel("Feature Name")
plt.title("Feature Importance in Decision Tree Regression")
plt.show()

解释：

DecisionTreeRegressor：用于创建决策树回归模型。
mean_squared_error：计算模型预测的均方误差，用于评估回归模型的性能。

结论

决策树模型通过构建一系列决策规则为分类和回归问题提供了强大的模型能力。它的优势包括可解释性强和适用于处理类别或数值型数据。

分类问题：通过分割不同特征空间，可以有效地分类鸢尾花数据集。
回归问题：通过预测连续数值，为房价预测提供了简单有效的方法。

然而，决策树模型容易过拟合，需要通过剪枝、设置深度和样本数量等参数进行调节。在实际应用中，结合交叉验证和其他技术可以提高模型的泛化能力。

继续深入探讨决策树模型，我们可以讨论更多的决策树相关技术，如剪枝、特征重要性以及基于集成学习的随机森林和梯度提升树。

决策树剪枝

决策树容易过拟合，为了解决这一问题，可以进行预剪枝或后剪枝。

预剪枝：在构建过程中通过设置参数（如max_depth, min_samples_split等）限制树的生长。
后剪枝：先生成完整的树，然后在验证集上进行剪枝。

预剪枝示例

通过设置max_depth限制树的最大深度，避免过拟合。

from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report, confusion_matrix
import matplotlib.pyplot as plt
from sklearn import tree

# 加载鸢尾花数据集
iris = datasets.load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 设置预剪枝参数
clf = DecisionTreeClassifier(random_state=42, max_depth=3, min_samples_split=4, min_samples_leaf=2)
clf.fit(X_train, y_train)

# 预测测试集结果
y_pred = clf.predict(X_test)

# 输出混淆矩阵和分类报告
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

# 绘制决策树
plt.figure(figsize=(12, 8))
tree.plot_tree(clf, feature_names=iris.feature_names, class_names=iris.target_names, filled=True)
plt.show()

决策树特征重要性

通过查看特征的重要性，可以了解哪些特征对分类结果影响最大。

# 使用鸢尾花数据集和决策树分类器
clf = DecisionTreeClassifier(random_state=42, max_depth=3, min_samples_split=4, min_samples_leaf=2)
clf.fit(X_train, y_train)

# 打印特征重要性
print("Feature importances:", clf.feature_importances_)

# 可视化特征重要性
plt.figure(figsize=(8, 6))
plt.barh(iris.feature_names, clf.feature_importances_)
plt.xlabel("Feature Importance")
plt.ylabel("Feature Name")
plt.title("Feature Importance in Decision Tree Classification")
plt.show()

案例分析：使用随机森林进行分类

随机森林是由多个决策树构成的集成模型，可以通过组合多个决策树的预测结果来提高模型性能和稳定性。它还可以帮助减小单个决策树的过拟合风险。

Python 实现：

from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, confusion_matrix
import matplotlib.pyplot as plt
import seaborn as sns

# 加载鸢尾花数据集
iris = datasets.load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建随机森林分类器并训练
rf_clf = RandomForestClassifier(n_estimators=100, random_state=42)
rf_clf.fit(X_train, y_train)

# 预测测试集结果
y_pred = rf_clf.predict(X_test)

# 输出混淆矩阵和分类报告
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

# 可视化特征重要性
plt.figure(figsize=(8, 6))
sns.barplot(x=rf_clf.feature_importances_, y=iris.feature_names)
plt.xlabel("Feature Importance")
plt.ylabel("Feature Name")
plt.title("Feature Importance in Random Forest Classification")
plt.show()

案例分析：使用梯度提升树（Gradient Boosting Trees）进行分类

梯度提升树是一种集成学习方法，通过逐步构建多个弱模型（决策树）来提高预测精度。

Python 实现：

from sklearn.ensemble import GradientBoostingClassifier
from sklearn.metrics import classification_report, confusion_matrix
import matplotlib.pyplot as plt
import seaborn as sns

# 加载鸢尾花数据集
iris = datasets.load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建梯度提升分类器并训练
gb_clf = GradientBoostingClassifier(n_estimators=100, random_state=42)
gb_clf.fit(X_train, y_train)

# 预测测试集结果
y_pred = gb_clf.predict(X_test)

# 输出混淆矩阵和分类报告
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

# 可视化特征重要性
plt.figure(figsize=(8, 6))
sns.barplot(x=gb_clf.feature_importances_, y=iris.feature_names)
plt.xlabel("Feature Importance")
plt.ylabel("Feature Name")
plt.title("Feature Importance in Gradient Boosting Classification")
plt.show()

结论

剪枝：通过预剪枝或后剪枝技术可以减小决策树的过拟合风险，得到更稳健的模型。
特征重要性：决策树模型可以用于评估不同特征对分类结果的重要性。
集成模型：
- 随机森林：通过组合多个决策树，减少了单一决策树的过拟合风险，通常能获得更好的预测效果。
- 梯度提升树：通过逐步构建多个弱模型来提高预测精度，适用于复杂的分类和回归问题。

这些技术使得决策树及其变种模型在实际机器学习问题中具有广泛的应用。

继续深入探讨更多与决策树相关的技术和案例，我们可以学习基于决策树的其他集成方法，如极端随机树（ExtraTrees），并探讨决策树的具体应用案例。

案例分析：使用极端随机树（ExtraTrees）进行分类

极端随机树是一种随机森林的变种，与随机森林不同，极端随机树在构建树时不是选择最佳分割点，而是随机选择分割点，从而增加多样性并加速计算。

Python 实现：

from sklearn.ensemble import ExtraTreesClassifier
from sklearn.metrics import classification_report, confusion_matrix
import matplotlib.pyplot as plt
import seaborn as sns

# 加载鸢尾花数据集
iris = datasets.load_iris()
X, y = iris.data, iris.target

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建极端随机树分类器并训练
et_clf = ExtraTreesClassifier(n_estimators=100, random_state=42)
et_clf.fit(X_train, y_train)

# 预测测试集结果
y_pred = et_clf.predict(X_test)

# 输出混淆矩阵和分类报告
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

# 可视化特征重要性
plt.figure(figsize=(8, 6))
sns.barplot(x=et_clf.feature_importances_, y=iris.feature_names)
plt.xlabel("Feature Importance")
plt.ylabel("Feature Name")
plt.title("Feature Importance in Extra Trees Classification")
plt.show()

案例分析：决策树在客户流失预测中的应用

项目背景：客户流失是指客户停止使用某种产品或服务。为了保留更多的客户，可以通过决策树模型对客户进行分类，预测哪些客户更可能流失。

数据集：使用著名的 Telco Customer Churn 数据集。

Python 实现：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder, StandardScaler
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report, confusion_matrix
import seaborn as sns
import matplotlib.pyplot as plt

# 加载数据集
url = 'https://raw.githubusercontent.com/IBM/telco-customer-churn-on-icp4d/master/data/Telco-Customer-Churn.csv'
df = pd.read_csv(url)

# 删除不必要的列
df.drop(['customerID'], axis=1, inplace=True)

# 处理分类数据
label_encoders = {}
for column in df.select_dtypes(include='object').columns:
    le = LabelEncoder()
    df[column] = le.fit_transform(df[column])
    label_encoders[column] = le

# 定义特征和标签
X = df.drop(['Churn'], axis=1)
y = df['Churn']

# 标准化数据
scaler = StandardScaler()
X = scaler.fit_transform(X)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建随机森林模型并训练
rf_clf = RandomForestClassifier(n_estimators=100, random_state=42)
rf_clf.fit(X_train, y_train)

# 预测测试集结果
y_pred = rf_clf.predict(X_test)

# 输出混淆矩阵和分类报告
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

# 可视化特征重要性
plt.figure(figsize=(8, 6))
feature_names = df.drop(['Churn'], axis=1).columns
sns.barplot(x=rf_clf.feature_importances_, y=feature_names)
plt.xlabel("Feature Importance")
plt.ylabel("Feature Name")
plt.title("Feature Importance in Customer Churn Prediction")
plt.show()

案例分析：使用LightGBM进行分类

项目背景：LightGBM（Light Gradient Boosting Machine）是由微软开发的梯度提升框架，具有更快的训练速度和更好的准确性。

Python 实现：

安装 lightgbm：

pip install lightgbm

代码实现：

import lightgbm as lgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report, confusion_matrix
import seaborn as sns
import matplotlib.pyplot as plt

# 加载数据集
url = 'https://raw.githubusercontent.com/IBM/telco-customer-churn-on-icp4d/master/data/Telco-Customer-Churn.csv'
df = pd.read_csv(url)

# 删除不必要的列
df.drop(['customerID'], axis=1, inplace=True)

# 处理分类数据
label_encoders = {}
for column in df.select_dtypes(include='object').columns:
    le = LabelEncoder()
    df[column] = le.fit_transform(df[column])
    label_encoders[column] = le

# 定义特征和标签
X = df.drop(['Churn'], axis=1)
y = df['Churn']

# 标准化数据
scaler = StandardScaler()
X = scaler.fit_transform(X)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# 创建LightGBM模型并训练
lgb_train = lgb.Dataset(X_train, y_train)
params = {
    'objective': 'binary',
    'boosting_type': 'gbdt',
    'metric': 'binary_logloss',
    'num_leaves': 31,
    'learning_rate': 0.05,
    'verbose': 0
}
gbm = lgb.train(params, lgb_train, num_boost_round=100)

# 预测测试集结果
y_pred_prob = gbm.predict(X_test)
y_pred = (y_pred_prob > 0.5).astype(int)

# 输出混淆矩阵和分类报告
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

# 可视化特征重要性
plt.figure(figsize=(8, 6))
feature_importance = gbm.feature_importance()
sns.barplot(x=feature_importance, y=feature_names)
plt.xlabel("Feature Importance")
plt.ylabel("Feature Name")
plt.title("Feature Importance in Customer Churn Prediction using LightGBM")
plt.show()

结论

在这几种案例分析中，我们展示了不同的集成学习方法在决策树上的扩展和应用：

极端随机树：通过随机分割点和数据采样构建，增加模型多样性并提高效率。
客户流失预测：决策树模型在预测分类问题中具有较好的表现，适用于客户流失预测等场景。
LightGBM：一种高效的梯度提升方法，能显著提高训练速度和预测性能。

通过这些不同的集成方法和决策树扩展模型，可以更有效地解决分类和回归问题，特别是对大型数据集和复杂特征的预测。

码农公寓

案例分析：决策树分类

案例分析：决策树回归

结论

决策树剪枝

预剪枝示例

决策树特征重要性

案例分析：使用随机森林进行分类

案例分析：使用梯度提升树（Gradient Boosting Trees）进行分类

结论

案例分析：使用极端随机树（ExtraTrees）进行分类

案例分析：决策树在客户流失预测中的应用

案例分析：使用LightGBM进行分类

结论

相关文章