点互信息算法（PMI）

基本思想：是统计两个词语在文本中同时出现的概率，如果概率越大，其相关性就越紧密，关联度越高。

   

PMI > 0；两个词语是相关的；值越大，相关性越强。

PMI = 0；两个词语是统计独立的，不相关也不互斥。

PMI < 0；两个词语是不相关的，互斥的。

从概率思想理解：

如果两个事件不相关也不互斥，则同时发生的概率p(a,b)=p(a)*p(b)，此时p(a,b)/p(a)*p(b)=1，PMI(a,b)=0；

如果两个事件相关，则同时发生的概率p(a,b)>p(a)*p(b)，此时p(a,b)/p(a)*p(b)>1，PMI(a,b)>0；

如果两个事件互斥，则同时发生的概率p(a,b)

情感倾向点互信息算法（SO-PMI）

基本思想是：选用一组褒义词（Pwords）跟一组贬义词（Nwords）作为基准词。若把一个词语word1跟Pwords的点间互信息减去word1跟Nwords的点间互信息会得到一个差值，就可以根据该差值判断词语word1的情感倾向。

 

   

SO-PMI（word1）> 0；为正面倾向，即褒义词

SO-PMI（word1） = 0；为中性倾向，即中性词

SO-PMI（word1） < 0；为负面倾向，即贬义词