Continual Learning for Large Language Models: A Survey

作者：IT小白 | 2024-04-01 19:31:54

踩

本文是LLM系列文章，针对《Continual Learning for Large Language Models: A Survey》的翻译。

大型语言模型的持续学习研究

摘要
1 引言
2 前言和分类
3 持续预训练
4 持续指令调整
5 持续对齐
6 基准
7 评估
8 挑战和未来工作
9 结论

摘要

大型语言模型（LLM）不适合频繁的重新训练，因为其庞大的规模带来了高昂的训练成本。然而，更新是必要的，以赋予LLM新的技能，并使其跟上快速发展的人类知识。本文综述了LLM持续学习的最新研究成果。由于LLM的独特性质，我们将继续学习技术归类为一种新颖的多阶段分类方案，包括持续的预训练、指令调整和对齐。我们将LLM的持续学习与较小模型中使用的更简单的自适应方法以及其他增强策略（如检索增强生成和模型编辑）进行了对比。此外，根据对基准和评价的讨论&#x

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/349920?site=