黑客灵魂

这个屌丝很懒，什么也没留下！

热门标签

热门文章

当前位置: article > 正文

几个nlp的小任务(生成式任务——语言模型(CLM与MLM))_mlm nlp

作者：黑客灵魂 | 2024-06-24 21:58:28

赞

踩

mlm nlp

本章节需要用到的类库

在这里插入图片描述

微调任意Transformers模型（CLM因果语言模型、MLM遮蔽语言模型）

CLM

在这里插入图片描述

MLM

在这里插入图片描述

准备数据集

在这里插入图片描述

展示几个数据的结构

在这里插入图片描述

介绍因果语言模型（Causal Language Modeling，CLM）

分词后连接文本，再特定序列长度中拆分

在这里插入图片描述

指定一个模型，设置分词器

在这里插入图片描述

数据预处理

在这里插入图片描述

将所有文本连接在一起，然后将结果分割成特定block_size的小块

在这里插入图片描述

数据已经清理完毕，我们就可以实例化我们的训练器了

在这里插入图片描述

设置args、trainer

在这里插入图片描述

开始训练

在这里插入图片描述

训练结束后，评估模型即可

在这里插入图片描述

掩蔽语言模型（Mask Language Modeling，MLM）

选择模型和分词器

在这里插入图片描述

通过 map 分成batch_size = 1000 的样本大小

在这里插入图片描述

加载一个合适的语言遮蔽模型

在这里插入图片描述

转为 token时要随机 mask掉一些东西

在这里插入图片描述

把所有东西交给 trainer，然后开始训练

在这里插入图片描述

进行评估

在这里插入图片描述

声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】

推荐阅读

相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

闽ICP备14008679号