目录
一.数据清洗
1.数值数据处理
1.数据集主要问题
（1）数据缺失
（2）数据不一致
（3）存在“脏”数据
（4）数据不规范
2.数据整体较为规整，但通过初步观察，该数据集主要存在如下问题：数据缺失，存在某些数据等于0
3.删除重复数据
在 Excel 中新建一个工作表house_prices_new.csv执行数据清洗，方便和原始数据区分开来，选中需要处理的数据
4.利用唯一标识house_id，删除重复值
5.升序排列，选择筛选和排序——升序
6.缺失值处理
通过人工手动补全，适合与缺失值比较少
删除缺失数据
用列表平均值代替缺失值
用统计模型计算出来的值代替缺失值
本题删除所有值为0的,缺失值所在行
7.选中地址列的数据区域即bedrooms所在的列
8.选中删除bedrooms值为0的所有行
9.以同样的方法删除bathrooms值为0的行
结果如下
2.非数值型数据转换
在原始数据中，neighborhood和style为非数值型数据。需要转换成数值型数据才能够进行回归分析。
1.开始——查找和替换——替换
2.选中neighborhood所在的列进行替换，把原数据的A、B、C替换为10、20、30
3.替换后结果
二.Excel多元线性回归
1.选择数据——数据分析——回归——确定
2.设置X和Y值区间，以price作为Y值输入区间
以neighborhood、area、bedrooms、bathrooms、style作为X值输入区间
下面是以price为y值，bathrooms为x值的输出结果：
三.多元线性回归模型预测房价
1.基础包与数据导入
1.导入包，如果没有某些包，使用pip命令下载即可
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
2.读取文件house_prices.csv数据
3.点击运行，输出结果
2.变量探索
1.数据处理
# 异常值处理
# ================ 异常值检验函数：iqr & z分数 两种方法 =========================
def outlier_test(data, column, method=None, z=2):
""" 以某列为依据，使用 上下截断点法 检测异常值(索引) """
"""
full_data: 完整数据
column: full_data 中的指定行，格式 'x' 带引号
return 可选; outlier: 异常值数据框
upper: 上截断点; lower: 下截断点
method：检验异常值的方法（可选, 默认的 None 为上下截断点法），
选 Z 方法时，Z 默认为 2
"""
# ================== 上下截断点法检验异常值 ==============================
if method == None:
print(f'以 {column} 列为依据，使用 上下截断点法(iqr) 检测异常值...')
print('=' * 70)
# 四分位点；这里调用函数会存在异常
column_iqr = np.quantile(data[column], 0.75) - np.quantile(data[column], 0.25)
# 1，3 分位数
(q1, q3) = np.quantile(data[column], 0.25), np.quantile(data[column], 0.75)
# 计算上下截断点
upper, lower = (q3 + 1.5 * column_iqr), (q1 - 1.5 * column_iqr)
# 检测异常值
outlier = data[(data[column] <= lower) | (data[column] >= upper)]
print(f'第一分位数: {q1}, 第三分位数：{q3}, 四分位极差：{column_iqr}')
print(f"上截断点：{upper}, 下截断点：{lower}")
return outlier, upper, lower
# ===================== Z 分数检验异常值 ==========================
if method == 'z':
""" 以某列为依据，传入数据与希望分段的 z 分数点，返回异常值索引与所在数据框 """
"""
params
data: 完整数据
column: 指定的检测列
z: Z分位数, 默认为2，根据 z分数-正态曲线表，可知取左右两端的 2%，
根据您 z 分数的正负设置。也可以任意更改，知道任意顶端百分比的数据集合
"""
print(f'以 {column} 列为依据，使用 Z 分数法，z 分位数取 {z} 来检测异常值...')
print('=' * 70)
# 计算两个 Z 分数的数值点
mean, std = np.mean(data[column]), np.std(data[column])
upper, lower = (mean + z * std), (mean - z * std)
print(f"取 {z} 个 Z分数：大于 {upper} 或小于 {lower} 的即可被视为异常值。")
print('=' * 70)
# 检测异常值
outlier = data[(data[column] <= lower) | (data[column] >= upper)]
return outlier, upper, lower
2.调用函数
outlier, upper, lower = outlier_test(data=df, column='price', method='z')
outlier.info(); outlier.sample(5)
3.删除错误数据
# 这里简单的丢弃即可
df.drop(index=outlier.index, inplace=True)
3.分析数据
1.定义变量
# 类别变量，又称为名义变量，nominal variables
nominal_vars = ['neighborhood', 'style']
for each in nominal_vars:
print(each, ':')
print(df[each].agg(['value_counts']).T)
# 直接 .value_counts().T 无法实现下面的效果
## 必须得 agg，而且里面的中括号 [] 也不能少
print('='*35)
# 发现各类别的数量也都还可以，为下面的方差分析做准备
2.热力图查看变量关联性
4.拟合
1.刚才的探索我们发现，style 与 neighborhood 的类别都是三类， 如果只是两类的话我们可以进行卡方检验，所以这里我们使用方差分析
利用回归模型中的方差分析，只有 statsmodels 有方差分析库， 从线性回归结果中提取方差分析结果
代码:
import statsmodels.api as sm
from statsmodels.formula.api import ols # ols 为建立线性回归模型的统计学库
from statsmodels.stats.anova import anova_lm
2.数据集样本随机选择 600 条
代码:
df = df.copy().sample(600)
# C 表示告诉 Python 这是分类变量，否则 Python 会当成连续变量使用
## 这里直接使用方差分析对所有分类变量进行检验
## 下面几行代码便是使用统计学库进行方差分析的标准姿势
lm = ols('price ~ C(neighborhood) + C(style)', data=df).fit()
anova_lm(lm)
# Residual 行表示模型不能解释的组内的，其他的是能解释的组间的
# df: *度（n-1）- 分类变量中的类别个数减1
# sum_sq: 总平方和（SSM），residual行的 sum_eq: SSE
# mean_sq: msm, residual行的 mean_sq: mse
# F：F 统计量，查看卡方分布表即可
# PR(>F): P 值
# 反复刷新几次，发现都很显著，所以这两个变量也挺值得放入模型中
2.输出结果：
3.多元线性回归建模
代码：
from statsmodels.formula.api import ols
lm = ols('price ~ area + bedrooms + bathrooms', data=df).fit()
lm.summary()
4.发现精度还不够高，这里通过添加虚拟变量与使用方差膨胀因子检测多元共线性的方式来提升模型精度
# 设置虚拟变量
# 以名义变量 neighborhood 街区为例
nominal_data = df['neighborhood']
# 设置虚拟变量
dummies = pd.get_dummies(nominal_data)
dummies.sample() # pandas 会自动帮你命名
# 每个名义变量生成的虚拟变量中，需要各丢弃一个，这里以丢弃C为例
dummies.drop(columns=['C'], inplace=True)
dummies.sample()
5.结果与原数据集拼接
# 将结果与原数据集拼接
results = pd.concat(objs=[df, dummies], axis='columns') # 按照列来合并
results.sample(3)
# 对名义变量 style 的处理可自行尝试
6.再次建模
# 再次建模
lm = ols('price ~ area + bedrooms + bathrooms + A + B', data=results).fit()
lm.summary()
7.处理多元共线性
自定义方差膨胀因子的检测公式:
def vif(df, col_i):
"""
df: 整份数据
col_i：被检测的列名
"""
cols = list(df.columns)
cols.remove(col_i)
cols_noti = cols
formula = col_i + '~' + '+'.join(cols_noti)
r2 = ols(formula, df).fit().rsquared
return 1. / (1. - r2)
函数调用:
test_data = results[['area', 'bedrooms', 'bathrooms', 'A', 'B']]
for i in test_data.columns:
print(i, '\t', vif(df=test_data, col_i=i))
# 发现 bedrooms 和 bathrooms 存在强相关性，可能这两个变量是解释同一个问题
四、sklearn多元线性回归预测房价
1.不进行数据处理
1.导入包和数据代码:
import pandas as pd
import numpy as np
import math
import matplotlib.pyplot as plt # 画图
from sklearn import linear_model # 线性模型
data = pd.read_csv('C:/Users/86199/Jupyter/house_prices_second.csv') #读取数据
data.head() #数据展示
2.去除第一列house_id,代码:
new_data=data.iloc[:,1:] #除掉id这一列
new_data.head()
3.关系系数矩阵显示
new_data.corr() # 相关系数矩阵,只统计数值列
4.赋值变量代码:
5.建立模型并输出结果
6.应用模型
model = linear_model.LinearRegression()
model.fit(x_data, y_data)
print("回归系数：", model.coef_)
print("截距：", model.intercept_)
print('回归方程: price=',model.coef_[0],'*neiborhood+',model.coef_[1],'*area +',model.coef_[2],'*bedrooms +',model.coef_[3],'*bathromms +',model.coef_[4],'*sytle ',model.intercept_)
2.对数据进行清洗后再求解
1.赋值新变量
new_data_Z=new_data.iloc[:,0:]
new_data_IQR=new_data.iloc[:,0:]
2.异常值处理
# ================ 异常值检验函数：iqr & z分数 两种方法 =========================
def outlier_test(data, column, method=None, z=2):
""" 以某列为依据，使用 上下截断点法 检测异常值(索引) """
"""
full_data: 完整数据
column: full_data 中的指定行，格式 'x' 带引号
return 可选; outlier: 异常值数据框
upper: 上截断点; lower: 下截断点
method：检验异常值的方法（可选, 默认的 None 为上下截断点法），
选 Z 方法时，Z 默认为 2
"""
# ================== 上下截断点法检验异常值 ==============================
if method == None:
print(f'以 {column} 列为依据，使用 上下截断点法(iqr) 检测异常值...')
print('=' * 70)
# 四分位点；这里调用函数会存在异常
column_iqr = np.quantile(data[column], 0.75) - np.quantile(data[column], 0.25)
# 1，3 分位数
(q1, q3) = np.quantile(data[column], 0.25), np.quantile(data[column], 0.75)
# 计算上下截断点
upper, lower = (q3 + 1.5 * column_iqr), (q1 - 1.5 * column_iqr)
# 检测异常值
outlier = data[(data[column] <= lower) | (data[column] >= upper)]
print(f'第一分位数: {q1}, 第三分位数：{q3}, 四分位极差：{column_iqr}')
print(f"上截断点：{upper}, 下截断点：{lower}")
return outlier, upper, lower
# ===================== Z 分数检验异常值 ==========================
if method == 'z':
""" 以某列为依据，传入数据与希望分段的 z 分数点，返回异常值索引与所在数据框 """
"""
params
data: 完整数据
column: 指定的检测列
z: Z分位数, 默认为2，根据 z分数-正态曲线表，可知取左右两端的 2%，
根据您 z 分数的正负设置。也可以任意更改，知道任意顶端百分比的数据集合
"""
print(f'以 {column} 列为依据，使用 Z 分数法，z 分位数取 {z} 来检测异常值...')
print('=' * 70)
# 计算两个 Z 分数的数值点
mean, std = np.mean(data[column]), np.std(data[column])
upper, lower = (mean + z * std), (mean - z * std)
print(f"取 {z} 个 Z分数：大于 {upper} 或小于 {lower} 的即可被视为异常值。")
print('=' * 70)
# 检测异常值
outlier = data[(data[column] <= lower) | (data[column] >= upper)]
return outlier, upper, lower
3.price 列为依据，使用 Z 分数法，z 分位数取 2 来检测异常值
4. price 列为依据，使用 上下截断点法(iqr) 检测异常值
outlier, upper, lower = outlier_test(data=new_data_IQR, column='price')
outlier.info(); outlier.sample(6)
# 这里简单的丢弃即可
new_data_IQR.drop(index=outlier.index, inplace=True)
5.输出原数据相关矩阵
6.Z方法处理的数据相关性矩阵
7.IQR方法处理的数据相关性矩阵
print("IQR方法处理的数据相关性矩阵")
new_data_IQR.corr()
8.建模输出
x_data = new_data_Z.iloc[:, 0:5]
y_data = new_data_Z.iloc[:, -1]
# 应用模型
model = linear_model.LinearRegression()
model.fit(x_data, y_data)
print("回归系数：", model.coef_)
print("截距：", model.intercept_)
print('回归方程: price=',model.coef_[0],'*neiborhood+',model.coef_[1],'*area +',model.coef_[2],'*bedrooms +',model.coef_[3],'*bathromms +',model.coef_[4],'*sytle ',model.intercept_)
五.总结
通过本次实验的学习，了解了多元回归模型的相关概念，如何构建模型的基本步骤，更加熟悉使用sklearn库调用函数的方法，了解了一些处理数据的基本方法，包括处理缺省值和非数值数据的处理方法等。
六.参考文献
https://blog.csdn.net/weixin_56102526/article/details/120954906?spm=1001.2014.3001.5501.