信息熵

H ( X ) = ∑ x ∈ X − P ( x ) l o g ( P ( x ) ) H(X)=\sum \limits_{x \in X}-P(x)log(P(x)) H(X)=x∈X∑​−P(x)log(P(x))

信息增益

特征A对训练样本集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定的条件下D的信息条件熵H(D|A)只差
即公式为 g ( D , A ) = H ( D ) − H ( D ∣ A ) g(D,A)=H(D)-H(D|A) g(D,A)=H(D)−H(D∣A)
表示得知特征X的信息而使得类Y的信息的不确定性减少的程度