Fisher Score选出的是特征的次优子集。
Introduction
在存在许多不相关或冗余的特征时，学习方法往往会过度适合，变得难以解释。基于过滤器的方法将特征排序作为学习算法之前的预处理步骤，并选择排名分数高的特征。基于包装器的方法使用最终将被使用的学习算法对特征进行评分。
给定一组d个特征，用S表示，基于滤波器的特征选择的目标是选择一个m < d个特征的子集，用T表示，它使某个准则F最大化。
一种常见的启发式方法，首先为每个特性独立地计算一个分数 ，然后选择得分最高的m个特征，但是这样的方法选出的特征子集是次优的。一方面，由于启发式算法单独计算每个特征的得分，它忽略了特征的组合。另一方面，它无法处理冗余特征。
所提方法不是单独选择每个特征，而是同时选择一个特征子集 。由此得到的特征选择问题是一个混合整数规划，它被进一步表述为二次约束线性规划。
A Brief Review of Fisher Score Fisher Score的计算公式：