困惑度PPL (perplexity)_ppl困惑度

作者：我家自动化 | 2024-03-31 10:52:41

踩

ppl困惑度

PPL是用在自然语言处理领域（NLP）中，衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率，并用句子长度作normalize。

PPL越小越好

公式为：

S – 当前句子；
N – 句子长度；
p(wi) – 第i个词的概率
p(wi|w1w2w3…wi-1) – 这个表示基于前i-1个词，计算得出第i个词的概率，但有的语言模型是可以利用双向的，不知道是不是会这样计算：p(wi|w1w2w3…wn) ；

ppl越小，p(wi)则越大，也就是说这句话中每个词的概率较高，说明这句话契合的表较好。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/我家自动化/article/detail/344407