一、什么是 TF-IDF？
TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。
上述引用总结就是, 一个词语在一篇文章中出现次数越多, 同时在所有文档中出现次数越少, 越能够代表该文章。这也就是TF-IDF的含义。
TF-IDF分为 TF 和 IDF，下面分别介绍这个两个概念。
1.1 TF
TF(Term Frequency, 词频)表示词条在文本中出现的频率，这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件（同一个词语在长文件里可能会比短文件有更高的词频，而不管该词语重要与否）。TF用公式表示如下
其中， 表示词条
在文档
中出现的次数，
就是表示词条
在文档
中出现的频率。
但是，需要注意， 一些通用的词语对于主题并没有太大的作用， 反倒是一些出现频率较少的词才能够表达文章的主题， 所以单纯使用是TF不合适的。权重的设计必须满足：一个词预测主题的能力越强，权重越大，反之，权重越小。所有统计的文章中，一些词只是在其中很少几篇文章中出现，那么这样的词对文章的主题的作用很大，这些词的权重应该设计的较大。IDF就是在完成这样的工作。
1.2 IDF
**IDF(Inverse Document Frequency, 逆文件频率)**表示关键词的普遍程度。如果包含词条 的文档越少， IDF越大，则说明该词条具有很好的类别区分能力。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到
其中， 表示所有文档的数量，
表示包含词条
的文档数量，为什么这里要加 1 呢？主要是防止包含词条
的数量为 0 从而导致运算出错的现象发生。
某一特定文件内的高词语频率，以及该词语在整个文件集合中的低文件频率，可以产生出高权重的TF-IDF。因此，TF-IDF倾向于过滤掉常见的词语，保留重要的词语，表达为
二、Python 实现
我们用相同的语料库，分别使用 Python 手动实现、使用gensim 库函数以及 sklearn 库函数计算 TF-IDF。
2.1 Python 手动实现
- 输入语料库
corpus = [‘this is the first document‘,
‘this is the second second document‘,
‘and the third one‘,
‘is this the first document‘]
words_list = list()
for i in range(len(corpus)):
words_list.append(corpus[i].split(‘ ‘))
print(words_list)
[[‘this‘, ‘is‘, ‘the‘, ‘first‘, ‘document‘],
[‘this‘, ‘is‘, ‘the‘, ‘second‘, ‘second‘, ‘document‘],
[‘and‘, ‘the‘, ‘third‘, ‘one‘],
[‘is‘, ‘this‘, ‘the‘, ‘first‘, ‘document‘]]- 统计词语数量
from collections import Counter
count_list = list()
for i in range(len(words_list)):
count = Counter(words_list[i])
count_list.append(count)
print(count_list)
[Counter({‘this‘: 1, ‘is‘: 1, ‘the‘: 1, ‘first‘: 1, ‘document‘: 1}),
Counter({‘second‘: 2, ‘this‘: 1, ‘is‘: 1, ‘the‘: 1, ‘document‘: 1}),
Counter({‘and‘: 1, ‘the‘: 1, ‘third‘: 1, ‘one‘: 1}),
Counter({‘is‘: 1, ‘this‘: 1, ‘the‘: 1, ‘first‘: 1, ‘document‘: 1})]- 定义函数
import math
def tf(word, count):
return count[word] / sum(count.values())
def idf(word, count_list):
n_contain = sum([1 for count in count_list if word in count])
return math.log(len(count_list) / (1 + n_contain))
def tf_idf(word, count, count_list):
return tf(word, count) * idf(word, count_list)- 输出结果
for i, count in enumerate(count_list):
print("第 {} 个文档 TF-IDF 统计信息".format(i + 1))
scores = {word : tf_idf(word, count, count_list) for word in count}
sorted_word = sorted(scores.items(), key = lambda x : x[1], reverse=True)
for word, score in sorted_word:
print("\tword: {}, TF-IDF: {}".format(word, round(score, 5)))
第 1 个文档 TF-IDF 统计信息
word: first, TF-IDF: 0.05754
word: this, TF-IDF: 0.0
word: is, TF-IDF: 0.0
word: document, TF-IDF: 0.0
word: the, TF-IDF: -0.04463
第 2 个文档 TF-IDF 统计信息
word: second, TF-IDF: 0.23105
word: this, TF-IDF: 0.0
word: is, TF-IDF: 0.0
word: document, TF-IDF: 0.0
word: the, TF-IDF: -0.03719
第 3 个文档 TF-IDF 统计信息
word: and, TF-IDF: 0.17329
word: third, TF-IDF: 0.17329
word: one, TF-IDF: 0.17329
word: the, TF-IDF: -0.05579
第 4 个文档 TF-IDF