scikit基础与机器学习入门（7）特征的选择

2023-11-19 22:13:34

选择特征有以下两方面依据：

特征是否发散：如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。

特征与目标的相关性：这点比较显见，与目标相关性高的特征，应当优选选择。除方差法外，本文介绍的其他方法均从相关性考虑。

根据特征选择的形式又可以将特征选择方法分为3种：

Filter：过滤法，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。
Wrapper：包装法，根据目标函数（通常是预测效果评分），每次选择若干特征，或者排除若干特征。
Embedded：嵌入法，先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，但是是通过训练来确定特征的优劣。

Filter过滤法

基于方差进行过滤

VarianceThreshold(threshold=3)，方差选择法，返回值为特征选择后的数据，参数threshold为方差的阈值

from sklearn import datasets
from sklearn.feature_selection import VarianceThreshold

vardata = VarianceThreshold(threshold=3).fit_transform(iris.data)
print(vardata[:10])
#print(iris.data)

基于皮尔逊系数进行过滤

相关系数通常只适合于连续特征的选择

第一个参数为计算评估特征是否好的函数，

第二个参数K表示选择K个最好的特征，返回选择特征后的数据

该函数输入特征矩阵和目标向量，输出二元组（评分，P值）的数组，数组第i项为第i个特征的评分和P值。

from sklearn.feature_selection import SelectKBest
from scipy.stats import pearsonr
import numpy as np
f = lambda X, Y:np.array(list(map(lambda x:pearsonr(x, Y)[0], X.T))).T
SelectKBest(f,k=2).fit_transform(iris.data, iris.target)[:10]

基于卡方检验进行过滤

经典的卡方检验是检验定性自变量对定性因变量的相关性。假设自变量有N种取值，因变量有M种取值，考虑自变量等于i且因变量等于j的样本频数的观察值与期望的差距，构建统计量：

\[\chi^{2}=\sum\frac{(A-E)^{2}}{E^{2}} \]

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
#选择K个最好的特征，返回选择特征后的数据
SelectKBest(chi2, k=2).fit_transform(iris.data, iris.target)[:10]

互信息法

经典的互信息也是评价定性自变量对定性因变量的相关性的。相关系数，卡方检验，互信息法选择特征的原理是相似的。

import numpy as np
from sklearn.feature_selection import SelectKBest
from sklearn import metrics
mic = metrics.mutual_info_score
g = lambda X, Y: np.array(list(map(lambda x:mic(x, Y), X.T))).T
#选择K个最好的特征，返回特征选择后的数据
SelectKBest(g, k=2).fit_transform(iris.data, iris.target)[:10]

Wrapper包装法

递归特征消除法

递归消除特征法使用一个基模型来进行多轮训练，每轮训练后，消除若干权值系数的特征，再基于新的特征集进行下一轮训练。

from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
#递归特征消除法，返回特征选择后的数据
#参数estimator为基模型
#参数n_features_to_select为选择的特征个数
RFE(estimator=LogisticRegression(),
n_features_to_select=2).fit_transform(iris.data, iris.target)[:10]

Embedded嵌入法

基于L1和L2正则化的方法（Lasso回归和岭回归）

使用带惩罚项的基模型，除了筛选出特征外，同时也进行了降维。使用feature_selection库的SelectFromModel类结合带L1惩罚项的逻辑回归模型，来选择特征的代码如下：

from sklearn.feature_selection import SelectFromModel
from sklearn.linear_model import LogisticRegression
#带L1惩罚项的逻辑回归作为基模型的特征选择
SelectFromModel(LogisticRegression(
penalty="l1", C=0.1)).fit_transform(iris.data, iris.target)[:10]

L1惩罚项降维的原理在于保留多个对目标值具有同等相关性的特征中的一个，所以没选到的特征不代表不重要。故，可结合L2惩罚项来优化。具体操作为：若一个特征在L1中的权值为1，选择在L2中权值差别不大且在L1中权值为0的特征构成同类集合，将这一集合中的特征平分L1中的权值，故需要构建一个新的逻辑回归模型：

基于树模型的特征选择法

树模型中GBDT也可用来作为基模型进行特征选择，使用feature_selection库的SelectFromModel类，结合GBDT模型，来选择特征的代码如下：

from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import GradientBoostingClassifier
#GBDT作为基模型的特征选择
SelectFromModel(GradientBoostingClassifier()
).fit_transform(iris.data, iris.target)[:10]

码农公寓