131.007 Unsupervised Learning - Feature Selection | 非监督学习 - 特征选择

1 Why?

  • Reason1 Knowledge Discovery
    (about human beings limitaitons)
  • Reason2 Cause of Dimensionality (维度灾难)
    (about ML algorithm itself)
    所需的数据量会根据你所拥有的特征数量以指数速度增长

    2 NP-Hard Problem

arbitrarily choose m features from n features (m≤n),don't know what m truely is before you choose.

131.007 Unsupervised Learning - Feature Selection | 非监督学习 - 特征选择

复杂度 exponentail

NP-hard,其中,NP是指非确定性多项式(non-deterministic polynomial,缩写NP)。所谓的非确定性是指,可用一定数量的运算去解决多项式时间内可解决的问题。
NP-hard问题通俗来说是其解的正确性能够被“很容易检查”的问题,这里“很容易检查”指的是存在一个多项式检查算法。相应的,若NP中所有问题到某一个问题是图灵可归约的,则该问题为NP困难问题。

3 Solution: Filtering & Wrapping | 解决方法 过滤&封装

131.007 Unsupervised Learning - Feature Selection | 非监督学习 - 特征选择

3.1 Filtering | 过滤

先对特征进行过滤,然后将其传递至学习算法(图示 )
+ Speed (pros)
- Ignores the learning problem(cons)

3.2 Wrapping | 封装

对特征的搜索针对你的学习算法展开
+ take model bias into accounts
- so.... slow

Relevance vs Usefulness

  • Relevance ~ information
  • Usefulness ~ Error
上一篇:day 25-1 接口类、抽象类、多态


下一篇:Ubuntu 16.04 LTS今日发布