基于统计学的中文分词_基于统计的无词典分词信息熵

作者：神奇cpp | 2024-08-06 04:54:37

踩

基于统计的无词典分词信息熵

基于统计学的分词方法可以借鉴2.2节的统计预言模型的思想，常用的有n_gram模型、隐马尔科夫模型、最大熵模型。由于我们本次使用统计预言模型为期刊文本分词，将对上述三个模型一一介绍并比较。

n-gram模型
给定句子S，假定可由规则 $A_1,A_2,A_3,...A_k$ 这k个词组成，称之为规则A，则在规则A下出现这个句子的概率P(S)可表示为
$P_{A} (S) = P (A_{1}, A_{2}, A_{3}, . . . A_{k})$ $P_A(S) = P(A_1,A_2,A_3,...A_k)$
同理，在规则B和规则C下出现这个句子的概率P(S)可表示为
$P_{B} (S) = P (B_{1}, B_{2}, B_{3}, . . . B_{m})$ $\begin{equation} P_B(S) = P(B_1,B_2,B_3,...B_m) \end{equation}$
$P_{C} (S) = P (C_{1}, C_{2}, C_{3}, . . . C_{n})$ $P_C(S) = P(C_1,C_2,C_3,...C_n)$
如果 $P_A(S)>P_B(S),P_A(S)>P_C(S)$ 则认为A规则下的分词更加合理。

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】

基于统计学的中文分词_基于统计的无词典分词 信息熵