线性回归可能是机器学习中最简单、最基础的算法了。但一定不要因为它简单就轻视它的存在，因为它也是很多更高级机器学习算法的基础，比如多项式回归、岭回归、 LASSO 回归等。线性回归的核心归结为求解正规方程（由样本特征x所得预测值y'和实际值y差的平方和，对x求偏导并使其为0所得的方程组），也就是利用最小二乘法求解方程系数。当x为一个n维向量时，方程的物理意义也被扩展为求解一个n维超平面前的系数。在介绍线性回归之前，让我们先了解下衡量线性回归预测结果好坏的指标。

1、相关评价标准

1）均方误差 MSE (Mean Squared Error) :

2）均方根误差 RMSE (Root Mean Squared Error) :

3）平均绝对误差 MAE (Mean Absolute Error) :

4）R方误差 ( R Squared ) :

应根据不同的应用场景和需求来选择不同的评价指标，没有其中一个平白无故的比另一个更好。具体来说，RMSE就是MSE的平方根，但它的量纲与要预测的y值的量纲相同，更有意义，MAE 因为带有绝对值而不方便求导，而 R Squared 因为无量化而更具有通用的比较性。我们可以通过向量化计算在 Python 中很容易的实现这4中指标的计算。同时，你也可以直接在 scikit-learn 中的 metrics 中直接调用 mean_squared_error，mean_absolute_error，r2_score 方法直接计算得到 MSE、MAE、R Squared。

2、线性回归

1）小引—— kNN 回归

首先我们先回顾下上次的 kNN ，其实 kNN 不仅可以用于分类，还可以用来解决回归问题。以此来引入回归问题的鼻祖——线性回归。

Talk is cheap, let's see the code！

结果如下：

MAE: 3.651057, MSE: 25.966010, R2 Accuracy: 0.464484

0.602674505081

准确率并不是太高呢！比我抛硬币好不了多少，是不是因为我们使用的是 kNN 回归默认的模型，而没有调整任何超参数的原因的。那我们接下来先介绍下 kNN 回归的各个超参数，再用网格搜索的方式搜索 kNN 回归的最佳超参数。

• n_neighbors——即 k 值，默认n_neighbors=5；weights：表示是否为距离加权重，默认 weights=’uniform’；
  
• algorithm——用于计算距离的算法，默认algorithm=’auto’，即根据 fit 方法传入值选择合适算法；
  
• p——明可夫斯基距离的指数，默认p=2（欧氏距离），p=1 为曼哈顿距离；
  
• n_jobs——调用CPU的核心数，默认 n_jobs=None；
  

上次我们学习kNN分类器的时候，用到了2层 for 循环搜索最佳超参数，这次我们直接调用 scikit-learn 中的方法搜索 kNN 回归的最佳超参数。实现如下：

结果如下：

{'n_neighbors': 6, 'p': 1, 'weights': 'distance'}

0.735424490609

好像准确度还不是很高呢！？是不是 kNN 这个算法太简单，已经落伍了呢？

其实，我们在选择一种机器学习方法的时候是受领域限制的，不同的领域，不同种类的数据可能就适合不同的机器学习方法，没有一种机器学习方法面对各种问题而无往不利，总是得到最佳结果（暂且不谈深度学习），而且模型准确率的高低还受到数据质量的影响。那么我接下来看看线性回归在波斯顿房价数据集上表现怎样。

2）Linear Regression

结果为 0.800891619952 。

80% 好像还不错，毕竟是默认模型嘛。让我们看下线性回归都有哪些超参数呢！

• fit_intercept——默认 fit_intercept=True，决定是否计算模型截距；
  
• normalize——默认 normalize=False，如果fit_intercept=True，X 会在被减去均值并除以 L2 正则项之前正则化；
  
• n_jobs——计算时所使用的CPU核心数；
  

结果为：

array([ -1.14235739e-01,   3.12783163e-02,  -4.30926281e-02,

       -9.16425531e-02,  -1.09940036e+01,   3.49155727e+00,

       -1.40778005e-02,  -1.06270960e+00,   2.45307516e-01,

       -1.23179738e-02,  -8.80618320e-01,   8.43243544e-03,

       -3.99667727e-01])

线性回归的特征系数是具有实际意义的，系数为负说明 y 值与该特征负相关，系数为正说明该特征与 y 值正相关，且值越大，相关度越高。我们拿波斯顿房价数据集举例说明，通过查找官方文档，我们得到这13个特征（按顺序排列）的实际意义：

Attribute Information (in order)

• CRIM——per capita crime rate by town
  
• ZN——proportion of residential land zoned for lots over 25,000 sq.ft.
  
• INDUS——proportion of non-retail business acres per town
  
• CHAS——Charles River dummy variable (= 1 if tract bounds river; 0 otherwise)
  
• NOX——nitric oxides concentration (parts per 10 million)
  
• RM——average number of rooms per dwelling
  
• AGE——proportion of owner-occupied units built prior to 1940
  
• DIS——weighted distances to five Boston employment centres
  
• RAD——index of accessibility to radial highways
  
• TAX——full-value property-tax rate per $10,000
  
• PTRATIO——pupil-teacher ratio by town
  
• B——1000(Bk - 0.63)^2 where Bk is the proportion of blacks by town
  
• LSTAT——% lower status of the population
  
• MEDV——Median value of owner-occupied homes in $1000's
  

为方便对应，我们将这13个特征的名字按其系数大小排下序：

结果为

array(['NOX', 'DIS', 'PTRATIO', 'LSTAT', 'CRIM', 'CHAS', 'INDUS', 'AGE',

      'TAX', 'B', 'ZN', 'RAD', 'RM'],

由此可知特征 'NOX' 与房价的负相关度最高，查看官方文档说明可知，其代表———房子附近的氮氧化物的浓度，我们根据常识就知道，氮氧化物有毒，房子附近氮氧化物浓度高的，价钱肯定便宜。特征 'RM' 代表房子的平均房间数，同样的，根据我们的生活经验，房间数越多的房子一般也越贵，大家想想是不是。

今天的分享就到这里了，关于 Linear Regression 还有很多超参数的调整，请小伙伴们自己在下面亲手操作下，会收获更多哦。还是那句话，如果你们中有大神路过，还请高抬贵脚，勿踩勿喷，嘻嘻。期待与小伙伴们共同进步！