ML之LS&OLS:LS&OLS算法的简介、论文、算法的改进(最佳子集选择OFSS法、前向逐步回归FSR法)、代码实现等详细攻略

LS&OLS算法的简介


 OLS是在大约200 年前(1806年)由高斯(Gauss)和法国数学家阿德里安- 马里· 勒让德(Legendre)提出的。



LS&OLS算法的论文


后期更新……




LS&OLS算法的算法的改进(最佳子集选择法、前向逐步回归法)


1、OFSS


(1)、OFSS最佳子集选择法伪代码实现

Initialize: Out_of_sample_error = NULL

   Break X and Y into test and training sets

for i in range(number of columns in X):

   for each subset of X having i+1 columns:

       fit ordinary least squares model

   Out_of_sample_error.append(least error amoung subsets containing i+1 columns)

Pick the subset corresponding to least overall error

2、FSR


  逐步回归的基本思想是将变量逐个引入模型,每引入一个解释变量后都要进行F检验,并对已经选入的解释变量逐个进行t检验,当原来引入的解释变量由于后面解释变量的引入变得不再显著时,则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程,直到既没有显著的解释变量选入回归方程,也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。


(1)、FSR前向逐步回归法伪代码实现


Initialize: ColumnList = NULL

   Out-of-sample-error = NULL

   Break X and Y into test and training sets

For number of column in X:

   For each trialColumn (column not in ColumnList):

       Build submatrix of X using ColumnList + trialColumn

       Train OLS on submatrix and store RSS Error on test data

   ColumnList.append(trialColumn that minimizes RSS Error)

   Out-of-sample-error.append(minimum RSS Error)


LS&OLS算法的代码实现


后期更新……


 


上一篇:成都办理 证r_成都办 证q


下一篇:Thymeleaf日程使用(一)