NLP基础（九）：BERT模型_9、bert

作者：Gausst松鼠会 | 2024-03-16 12:01:52

踩

9、bert

1.BERT模型架构

BERT（Bidirectional Encoder Representations from Transformer）是有监督任务的无监督训练，不需要标签信息。BERT证明了双向模型对文本特征表示的重要性，并且证明了预训练模型能够消除很多繁重的任务相关的网络结构。

如下图所示，Bert的模型架构基于Encoder，GPT基于Decoder，而ELMo基于两个单向的LSTM模型。
在这里插入图片描述

2.BERT核心思想

BERT的核心在于通过学习分类任务NSP和词的匹配Mask LM等两个任务完成预训练，然后根据下游任务的不同，如SQuAD、NER实体识别或MNLI进行Fine-Tuning微调。BERT跨越不同任务的统一架构，使得预训练架构与最终下游架构之间的差异很小。
在这里插入图片描述 Fine-Tuning的任务如下图所示：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Gausst松鼠会/article/detail/249338