Prompt-Tuning——深度解读一种新的微调范式_prompt tuning

Prompt-Tuning——深度解读一种全新的微调范式

作者：王嘉宁  邮箱：lygwjn@126.com
转载请注明出处：https://wjn1996.blog.csdn.net/article/details/120607050

本博客针对Prompt进行的综述博客，暂时为半成品，持续更新中，若对您的科研和工作有所帮助，期待您的收藏与引用。

作者简介：王嘉宁，华东师范大学 数据学院 博士生，研究方向为自然语言处理、知识图谱。

首次发布日期：2021年11月19日
第一次全面更新：2023年2月3日
第二次全面更新：2023年3月29日

阅读该博客，您将系统地掌握如下知识点：

• 什么是预训练语言模型？
• 什么是prompt？为什么要引入prompt？相比传统fine-tuning有什么优势？
• 自20年底开始，prompt的发展历程，哪些经典的代表方法？
• 面向不同种类NLP任务，prompt如何选择和设计？
• 面向超大规模模型，如何借助prompt进行参数有效性训练？
• 面向GPT3，什么是In-Context Learning？什么是Chain-Of-Thought？
• 面向黑盒模型，如何使用prompt？
• ChatGPT里有哪些prompt技术？
• 未来prompt的发展与研究前景

Prompt的由浅入深的理解：

• 1级：Prompt是一种对任务的指令；
• 2级：Prompt是一种对预训练目标的复用；
• 3级：Prompt本质是参数有效性训练；

**热点预览

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/344807