热门标签
热门文章
- 1Python中等差数列求和！！_python等差数列求和
- 2Gemini技术报告解读：从Google多模态大模型看后续大模型应该具备哪些能力
- 3BLACKBOX.AI：解锁编程学习新纪元，加速开发的AI得力助手
- 4计算机网络中23是什么端口号,什么是网络端口，端口有哪些分类-电脑自学网
- 5排序算法＜8＞:对比与总结_原表是否有序对排序算法影响不大
- 6SwiftUI ScrollView技巧大全之 监控ScrollView滚动显示内容并获取位置实现SnapTo对齐 （教程含源码）_swiftui 监听scrollview滑动
- 7仓颉编程语言全攻略：学习秘籍+内测资格申请秘籍！_华为仓颉编程语言官网
- 8C语言基础——文件_c语言文件
- 9java接口练习_java内部接口练习
- 10Web漏扫工具OWASP ZAP安装与使用（非常详细）从零基础入门到精通，看完这一篇就够了。
当前位置: article > 正文
语言模型的评估-困惑度_语言模型评估指标困惑度一般多少合格
作者：笔触狂放9 | 2024-06-13 23:59:33
赞
踩
语言模型评估指标困惑度一般多少合格
语言模型评价
语言模型构造完成后，如何确定好坏呢？ 目前主要有两种评价方法：
- 实用方法：通过查看该模型在实际应用（如拼写检查、机器翻译）中的表现来评价，优点是直观、实用，缺点是缺乏针对性、不够客观；
- 理论方法：迷惑度/困惑度/混乱度（preplexity），其基本思想是给测试集的句子赋予较高概率值的语言模型较好,当语言模型训练完之后，测试集中的句子都是正常的句子，那么训练好的模型就是在测试集上的概率越高越好，公式如下：
由公式可知，迷惑度越小，句子概率越大，语言模型越好。使用《华尔街日报》训练数据规模为38million words构造n-gram语言模型，测试集规模为1.5million words，迷惑度如下表所示：
声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】
推荐阅读
相关标签
