信息 信息熵 信息增益

最近在学机器学习的相关内容,看到决策树这一块提到了信息增益等内容,在此做下笔记

信息&信息熵&信息增益

信息

所谓信息,引用香农的话,信息即消除不确定性的东西,十分形象

定义系统\(X\),发生了事件\(x_i\),其中\(i∈{0,1,2,···,n}\)

则从事件\(x_i\)中可以得到的信息量为

\(I(x_i)=-log_2(P(x_i))\)

解释:概率越接近1可用的信息量就越少,系统就越确定,概率越接近0各种鱼龙混杂的信息就浮现出来了,所以信息量大,至于为什么公式长这个样子,可能它更加契合世界的规律吧。

信息熵

和物理学中的熵相似,表示的事物的混乱程度,熵越大,系统就越混乱,信息也是如此。

信息熵越大,这个系统就越混乱,不确定性就越大,透露出的信息(有用无用的都有)就越多。

\(H(X) = \Sigma I(x_i) p_i\)

当概率为0或者1时,信息熵为0,系统确定,在二分问题中概率达到0.5时,信息熵达到最大值1

信息增益

指的是增加相关信息所带来的熵的增减

为了获得信息增益,就必须建立起条件熵的概念

\(H(Y | X)=\sum\limits_{i=1}^{n}P(x_i)H(Y|X=x_i)\)

其中X表示n个特征组成的特征空间,分别在\(x_i\)下得到的条件熵的总期望就是总的条件熵。

然后给定条件X,Y的信息熵是多少,从而得出信息增益

\(IG(X) = H(Y) - H(Y | X)\)

举一个网上看到的例子,假如说Y表示的是下雨这一事件,X表示的是阴天这一条件,如果

\(H(Y) = 2\),而\(H(Y|X)=0.01\)

很明显可以看出,对于增加了阴天这一条件之后信息熵减少了1.99之多,是巨大的,相应的信息增益

\(IG(X) = H(Y)-H(Y|X) = 1.99\)

在古典概型下的信息熵和信息增益

训练数据的集合D,|D|表示样本的个数,将D划分为k个类\((C_1,C_2,C_3,...,C_k)\),然后再用特征A将D划分为n个子集\((D_1,D_2,D_3,...,D_i)\),用\(D_{ik}\)表示\(D_i\)和\(C_k\)之间的交集,即条件A下还能取到哪些值。

则信息经验熵

\(H(D) = -\sum\limits_{k=1}^{K}\frac{|C_k|}{|D|}log_2\frac{|C_k|}{|D|}\)

选定条件A的经验条件熵

\(H(D|A) = \sum\limits_{i=1}^{n}\frac{|D_i|}{|D|}H(D_i)=-\sum\limits_{i=1}^{n}\frac{|D_i|}{|D|}\sum\limits_{k=1}^{K}\frac{|D_{ik}|}{|D|}log_2\frac{|D_{ik}|}{|D|}\)

信息增益

\(g(D,A) = H(D) - H(D|A)\)

上一篇:连续时间的马尔可夫链


下一篇:复变函数知识点整理1-6