热门标签
当前位置: article > 正文
[论文笔记]MacBERT
作者：Monodyee | 2024-04-02 11:09:05
赞
踩
[论文笔记]MacBERT
引言
今天带来MacBERT的阅读笔记。论文题目是 重新审视中文自然语言处理的预训练模型。
本篇主要是探讨中文预训练语言模型在非英文语言中的有效性，然后提出了一种简单而有效的模型，称为MacBERT，它在多个方面改进了RoBERTa，特别是采用纠错型掩码语言模型(MLM as correction,Mac)的掩码策略。
通过实验表明MacBERT在很多NLP任务中能取得SOTA结果。
总体介绍
BERT已经变成NLP领域的新的基础组件。从BERT开始，人们在优化预训练语言模型方面取得了巨大而迅速的进展。比如ERINE1、XLNet2、RoBERTa3、SpanBERT4、ALBERT5、ELECTRA6等。
然而相比我们过去训练词嵌入或其他传统的神经网络，训练基于Tra
推荐阅读
相关标签
