自然语言处理-中文分词原理_中文分词技术是将一个汉字序列按照一定的规则拆分成许多独立个体的“词” 的过程

作者：盐析白兔 | 2024-08-12 13:11:05

踩

中文分词技术是将一个汉字序列按照一定的规则拆分成许多独立个体的“词” 的过程

1.中文分词原理介绍

1.1中文分词概述：
中文分词：将一个汉字序列分成一个一个的单独的词。
分词：将连续的字序列按照一定的规范重新组合成词序列的过程。
1.2中文分词方法：
一般有以下三类：基于词典匹配的分词方法、基于理解的分词方法和基于统计的分词方法。
1.2.1 基于词典（字符串匹配、机械分词法）匹配的分词方法
按照一定的策略将待分析的汉字串与一个机器词典进行词条匹配，若在词典中找到某个字符串，则匹配成功。
按照扫描方向不同，字符串匹配分词方法可以分为正向匹配和逆向匹配；
（1）最大正向匹配法（MM，MaximumMatching Method）
假定分词词典中的最长词有i个汉字字符，用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。
①若字典中存在这样的一个i字词，则匹配成功，匹配成功字段被作为一个词切分出来；
②若词典中找不到这样一个i字词，则匹配失败，将匹配字段中的最后一个字去掉；
③对剩下的字符

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/969939