Day 41: tf-idf 分析问题_idf分析作业

作者：小小林熬夜学编程 | 2024-06-15 18:32:34

踩

idf分析作业

Python 回忆录

2020/1/23
- 介绍TF，IDF
- - TF-IDF 类的使用

2020/1/23

介绍TF，IDF

上一篇文章介绍了可以利用sklearn工具把文章特征值化。文章特征值化最常见的应用就是文章分类。比如说一篇文章经常提到一个词，那么这个文章的主题大概率就是和这个词相关。
在这里插入图片描述
像第一饼图大概率讲的是和共享车相关，第二个饼图大概率讲的是和银行经济相关。像“我，明天，做”这些都是其他词语，其他词语的比例占的是最多的，所以这时候就要用到TF（term frequency），IDF （inverse document frequency）来确认词语的重要性。
TF：词语在文章中出现的频率
IDF： log（总文章数/该词出现的文档数）
词语的重要性： TF * IDF 所以说如果词语在很多文章中出现那么这个词的重要性就很低，方便我们进行分类判断。

TF-IDF 类的使用

sklearn.feature_extraction.text.TfidfVectorizer

TfidfVectorizer(stop_words=None):返回词的权重矩阵

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/723349