【论文泛读117】通过中文自然语言推理研究多语言预训练语言模型中的迁移学习_语言模型的迁移

贴一下汇总贴：论文阅读记录

论文链接：《Investigating Transfer Learning in Multilingual Pre-trained Language Models through Chinese Natural Language Inference》

一、摘要

多语言转换器（XLM、mT5）已被证明在零样本设置中具有非凡的传输技能。然而，大多数迁移研究依赖于自动翻译的资源（XNLI、XQuAD），因此很难辨别正在迁移的特定语言知识，以及在开发特定任务模型时专家注释的单语数据集的作用。我们研究了 XLM-R 在中文和英文自然语言推理 (NLI) 中的跨语言迁移能力，重点是最近的大规模中文数据集 OCNLI。为了更好地理解语言迁移，我们为中文创建了 4 类挑战和对抗性任务（总共 17 个新数据集），这些任务建立在几个著名的英语资源（例如，HANS、NLI 压力测试）的基础上。我们发现在英语 NLI 上训练的跨语言模型在我们的中文任务中迁移得很好（例如，在我们的挑战类别的 3/4 中，它们的表现与最好的单语模型一样好/更好，即使在 3/5 独特的中文语言成语、亲掉等现象）。然而，这些结果伴随着重要的警告：跨语言模型在混合使用英语和高质量单语 NLI 数据 (OCNLI) 时通常表现最佳，并且经常受到自动翻译资源 (XNLI-zh) 的阻碍。对于许多现象，所有模型都在继续挣扎，这突显出我们需要新的诊断方法来帮助对中文和跨语