NER范式（一）-序列标注：BERT+CRF【标签：给每个token设置一目标BIO标签】【前向计算时计算每个token的BIO分类标签】【损失函数=-log(真实路径的分数/所有可能路径的总分数)】_序列标注bert+crf

作者：人工智能uu | 2024-07-15 01:01:53

踩

序列标注bert+crf

Baseline 细节
- 预训练模型：选用 UER-large-24 layer[1]，UER在RoBerta-wwm 框架下采用大规模优质中文语料继续训练，CLUE 任务中单模第一
- 差分学习率：BERT层学习率2e-5；其他层学习率2e-3
- 参数初始化：模型其他模块与BERT采用相同的初始化方式
- 滑动参数平均：加权平均最后几个epoch模型的权重，得到更加平滑和表现更优的模型
Baseline bad-case分析

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/人工智能uu/article/detail/827160