NLP之文本分类_nlp 文本分类

文本自动分类简称文本分类（text categorization），是模式识别与自然语言处理密切结合的研究课题。传统的文本分类是基于文本内容的，研究如何将文本自动划分成政治的、经济的、军事的、体育的、娱乐的等各种类型。

目录

文本表示

文本向量化

向量的相似性度量（similarity）

文本特征选择方法

特征权重计算方法

分类器设计

文本分类评测指标

文本分类是在预定义的分类体系下，根据文本的特征（内容或属性），将给定文本与一个或多个类别相关联的过程。因此，文本分类研究涉及文本内容理解和模式分类等若干自然语言理解和模式识别问题。

文本分类任务的最终目的是要找到一个有效的映射函数，准确地实现域D×C到值T或F的映射，这个映射函数实际上就是我们通常所说的分类器。因此，文本分类中有两个关键问题：一个是文本的表示，另一个就是分类器设计。

根据分类知识获取方法的不同，文本自动分类系统大致可分为两种类型：基于知识工程（knowledge engineering, KE）的分类系统和基于机器学习（machine learning, ML）的分类系统。90年代以后，基于统计机器学习的文本分类方法日益受到重视，这种方法在准确率和稳定性方面具有明显的优势。系统使用训练样本进行特征选择和分类器参数训练，根据选择的特征对待分类的输入样本进行形式化，然后输入到分类器进行类别判定，最终得到输入样本的类别。

文本表示

文本向量化

一个文本表现为一个由文字和标点符号组成的字符串，由字或字符组成词，由词组成短语，进而形成句、段、节、章、篇的结构。要使计算机能够高效地处理真实文本，就必须找到一种理想的形式化表示方法，这种表示一方面要能够真实地反映文档的内容（主题、领域或结构等），另一方面，要有对不同文档的区分能力。

目前文本表示通常采用向量空间模型（vecto rspace model,VSM）。

下面首先给出VSM涉及的一些基本概念。
文档（document）：通常是文章中具有一定规模的片段，如句子、句群、段落、段落组直至整篇文章。
项&#x