sklean实现文本分类_sklearn 文本分类

（这里是恶意代码的分类）

1.特征提取与向量转换

文本形式，对所有文档构建词典，然后为每一篇文档建立一个TF-IDF方法构建的向量。

首先把文本转换为向量的形式，采用TF-IDF特征提取法，把文本转换为向量形式。

核心代码如下：

对下述代码的解释：

（1）CountVectorizer类会将文本中的词语转换为词频矩阵；其是一个支持文本中词语计数的函数库，我们可以使用其中的函数来分析文本数据来得到特征向量字典，字典中每一个项目的值代表该词语在全部数据中出现的次数。

（2）fit(..)方法来处理原始文本数据，然后使用transform(..)方法来将词汇统计数据转换为tf-idf模型。

（3）toarray()函数得到一个ndarray类型的完整矩阵，其中的每个值代表每个词的TF-IDF值。

（4）weight即是为每一个文本文档构建的向量，其维度为文档的总个数*向量个数

下面即是训练部分，采用的朴素贝叶斯方法，需要导入的库如下：