由于在文本处理中会用到互信息所以做一下总结
pmi（Pointwise Mutual Information）：
如果a和b不相关值为1。当ab条件独立时，p(a|b) = p(a)此时pmi为0。
如果ab的联合概率越大则该值越大。
在文本处理中经常会遇到计算pmi
其中 p(a,b) 为 a和b共现的次数/总字符数（如果ab均代表字符的情况下也就是unigram）
p(a) 为 a出现的次数/总字符数，p(b) 为b出现的次数/总字符数
这里联合概率是存在一些问题的因为p(a,b) = p(b,a) 但实际文本处理过程中a和b两个字符存在顺序。
参考文献：
互联网时代的社会语言学：基于SNS的文本数据挖掘 | Matrix67: The Aha Moments
新词发现的信息熵方法与实现 - 科学空间|Scientific Spaces