[论文笔记]ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS_albert 论文

引言

本文是ALBERT¹的论文笔记。

ALBERT(A Lite BERT)可以看成是BERT的精简版，现在像GPT-3这种模型大到无法忍受。

ALBERT提供了另一种思路，通过parameter-reduction(参数精简)技术降低内存消耗同时增加BERT的训练速度。

核心思想

作者设计了精简版(Lite)的BERT架构——ALBERT，和传统的BERT架构相比参数量有显著的减少。

ALBERT合并了两种精简参数的技术消除扩展预训练模型的主要障碍。

第一种是嵌入参数因式分解(factorized embedding parameterization)。通过分解大的词表嵌入矩阵为两个小的矩阵，作者将隐藏层的大小与词表嵌入(vocabluary embedding)的大小分离。这样可以很容易地增加隐藏层大小而不会显著地增加词表嵌入的参数大小。

第二种是跨层参数共享(cross-layer parameter sharing)。这种技术防止参数量随着网络深度的增加而增大。

这两种技术都显著地减少了BERT的参数量而不影响性能，从而提升了参数效率。ALBERT的配置类似BERT-large，但是参数量少了18倍，同时训练速度快了1.7倍。

参数精简技术也可以看出某种形式的正则化，可以使训练更加稳定而且使模型泛化能力更强。

为了进一步提升ALBERT的表现，作者也引入了一种自监督损失，用于句子顺序预测(SOP)任务。SOP主要侧重句子间的连贯性，用于解决原始BERT提出的下一句预测损失无效的问题。

基于这些技术，作者可以扩