TF-IDF算法（纯代码）_tf-idf代码

TF-IDF是一种文本特征提取算法，用于评估一篇文本中的某个词对于文本在整个语料库中的重要程度。它是根据单词在文本中的出现频率和在整个语料库中的文档频率来计算的，其中TF代表词频，IDF代表逆文档频率。
具体而言，TF表示某个词在一篇文档中出现的次数除以文档中所有词的总数，即：

$$TF(w) = \frac{n{w,d}}{\sum{i=1}^{n} n_{i,d}}$$
其中$w$表示某个单词，$n{w,d}$表示单词$w$在文档$d$中出现的次数，$\sum{i=1}^{n} n_{i,d}$表示文档$d$中所有单词出现的总次数。
IDF表示单词在整个语料库中出现的文档数的倒数，加上一个平滑因子避免除数为零的情况，即：
$$IDF(w) = log \frac{N}{df_w + 1}$$
其中$N$是文档总数，$df_w$是包含单词$w$的文档数。
最终，TF-IDF值就是将TF和IDF相乘得到的：
$$TF-IDF(w,d) = TF(w) * IDF(w)$$
TF-IDF算法的核心思想是，对于一个词在一篇文档中出现得越多，且在整个语料库中出现得越少，它就越能够代表这篇文档的主题或关键信息。因此，TF-IDF算法广泛应用于文本分类、信息检索、垃圾邮件过滤等应用中。

一下为一个简单的TF-IDF算法：

import math
 
# 假设一个文档集合由以下三个文档组成
documents = [
    "This is the first document.",
    "This is the second document.",
    "And this is the third one."
]
 
# 首先计算每个文档中单词的出现频率（Term Frequency）
tf = []
for doc in documents:
    tf_doc = {}
    words = doc.split()
    for word in words:
        if word in tf_doc:
            tf_doc[word] += 1
        else:
            tf_doc[word] = 1
    tf.append(tf_doc)
 
# 计算逆文档频率（Inverse Document Frequency）
idf = {}
N = len(documents)
for doc in tf:
    for word in doc:
        if word in idf:
            idf[word] += 1
        else:
            idf[word] = 1
for word in idf:
    idf[word] = math.log(N / idf[word])
 
# 计算TF-IDF值
tfidf = []
for doc in tf:
    tfidf_doc = {}
    for word in doc:
        tfidf_doc[word] = doc[word] * idf[word]
    tfidf.append(tfidf_doc)
 
# 输出TF-IDF值
for i in range(len(tfidf)):
    print("Document {}:".format(i+1))
    for word in tfidf[i]:
        print("\t%s: %f" % (word, tfidf[i][word]))
'
运行
运行