NLP文本数据增强热门技术_数据增强 mlm

背景

CV中有很多简单实用的数据增强方式，如旋转图像、调整RGB等。这些方法在保证图像特征的基础上增加了训练量，进而能够提升模型的表现效果。但在NLP中这些方法就不再适用，文本上少量的调整都可能改变整体上下文语义信息。
《A Visual Survey of Data Augmentation in NLP》（本文主要参考文章）中这样阐述这种情况：

word替换

同义词替换

基于公开的知识库，随机选择当前句子中的单词，应用同义词库将其替换为其同义词。比如，使用WordNet数据库，将「awesome」替换为「amazing」。

使用该方法扩充数据集的论文如：

• Character-level Convolutional Networks for Text Classification
• EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks
• Siamese Recurrent Architectures for Learning Sentence Similarity

词向量替换

采用预先训练好的单词嵌入，如Word2Vec、GloVe、FastText、Sent2Vec，并使用嵌入空间中最近的相邻单词替换句子中的某些单词。（个人认为用bert微调后的向量表现更佳）

因为词向量可将词汇映射到同一个语义空间，在具体应用中，我们可以通过临近词替换当前词的方式，随机替换单词进而增加训练数据。
使用该方法的论文如：

• TinyBERT: Distilling BERT for Natural Language Understanding

另外，也可以调用api接口，来获取词向量和每个词的临近词向量。可以导入预训练好的词向量，也可以自行训练（自行训练需要构建个人语料集，分词后feed到词向量模型，经过训练后再计算相似度）。

#导入预训练好的Glove词向量
import gensim.downloader as api

info = api.info()  # show info about available models/datasets
model = api.load("glove-twitter-25")  # download the model and return as object ready for use
model.most_similar("cat")
1
2
3
4
5

#导入预训练好的word2vec词向量
from gensim.models.word2vec import Word2Vec
import gensim.downloader as api

corpus = api.load('text8')  # download the corpus and return it opened as an iterable
model = Word2Vec(corpus)  # train a model from the corpus
model.most_similar("car")
1
2
3
4
5
6

掩码语言模型（Masked Language Model，MLM）

在BERT模型中，可以通过MLM来根据上下文预测遮盖的词汇。因为bert已经采用大量语料集进行了预训练，所以这种方法生成的词汇在语义程度上更接近原词，生成的文本也更有可解释性。

这种方法存在的问题是要考虑遮盖哪些词，能最大限度保留文本上下文语义。
源码可参考：token预测

基于tfidf的词替换

替换文本中tfidf分数较低的词汇，要替换的词汇由所有分数较低的词汇中随机抽样。
使用该方法的论文有：

• Unsupervised Data Augmentation for Consistency Training
  源码可参考：word_level_augment

反向翻译

先将文本翻译成其他语言，再翻译回来，如果新文本与原文本形式不一，即可用于数据增强。

资源：Google Sheets说明

文本表面转换

使用简单模式匹配来进行转换，这个主要基于正则表达式，无太多技术含量，此处不详述。

随机噪声

加入噪声是机器学习常用的用于提高模型鲁棒性的方法。主要有如下几种噪声注入方式。

注入拼写错误例子

映射常见拼写句子，生成错误映射。

资源：英文常见错误映射

空白噪声

随机去除一些词汇，并用占位符标记。常用于缓解过拟合问题。

打乱文本句子顺序

随机处理（插入、替换、删除）

语法树

总结可为：规则+语法依赖树。实用价值较小，不详述。

文本混合

思想基于图像增强技术，经过修改应用于NLP。相关论文：

• Augmenting Data with Mixup for Sentence Classification: An Empirical Study
  具体方法有wordMixup和sentMixup两种。

wordMixup

随机选择两个文本，经过等长的embedding嵌入，按比例组合在一起。然后再经过CNN/LSTM等编码得到文本嵌入，计算交叉熵。

sentMixup

与上述方法类似，在细节处做了调整。