lda 可以处理中文_中文分词（jieba）和语料库制作（gensim）

本文的内容为以下两个部分：

1. 文本分词（jieba）
2. 语料库制作（gensim）

结巴（jieba）分词

在自然语言处理领域中，分词和提取关键词都是对文本处理时通常要进行的步骤。用Python语言对英文文本进行预处理时可选择NLTK库，中文文本预处理可选择jieba库。结巴分词是基于统计的分词方法，它对给出大量已经分词的文本，利用统计机器学习模型学习词语切分的规律（称为训练），从而实现对未知文本的切分。例如最大概率分词方法和最大熵分词方法等。随着大规模语料库的建立，统计机器学习方法的研究和发展，基于统计的中文分词方法渐渐成为了主流方法。

jieba分词的三种模式:

• 精确模式：将句子最精确的分开，适合文本分析
• 全模式：句子中所有可以成词的词语都扫描出来，速度快，不能解决歧义
• 搜索引擎模式：在精确的基础上，对长词再次切分，提高召回

结巴分词的其他特点诸如：支持繁体分词，支持自定义词典，基于Trie树结构实现高效的词图扫描，采用了动态规划查找最大概率路径等特点。

jieba库中分词函数

1、jieba.cut