爱喝兽奶帝天荒

这个屌丝很懒，什么也没留下！

热门标签

热门文章

当前位置: article > 正文

【(强推)李宏毅2021/2022春机器学习课程】2022-如何有效的使用自监督模型-Data-Efficient &Parameter-Efficient Tuning

作者：爱喝兽奶帝天荒 | 2024-07-20 19:38:44

赞

踩

【(强推)李宏毅2021/2022春机器学习课程】2022-如何有效的使用自监督模型-Data-Efficient &Parameter-Efficient Tuning

文章目录

1. self-pretrain是什么
2. 存在问题
3. Data-Efficient Fine-tuning：Prompt Tuning（提示，更有效地利用数据，比如数据量少的情况下）
- 数据量更少
4. Data-Efficient Fine-tuning：Semi-supervised Learning（半监督）
5. zero-shot
6. PLMs Are Gigantic -> Reducing the Number of Parameters（对于model很大的时候的解决方法）
7. Closing Remarks

在这里插入图片描述
资料：pdf | 视频

1. self-pretrain是什么

两种训练方式：

预测下个词
掩码学习

在这里插入图片描述

fine-tune：胚胎干细胞，还需要fine-tune才能发挥威力
在这里插入图片描述

2. 存在问题

微调还是需要一些数据的
在这里插入图片描述
模型太大了

3. Data-Efficient Fine-tuning：Prompt Tuning（提示，更有效地利用数据，比如数据量少的情况下）

在这里插入图片描述

跟 Standard fine-tuning的差别

Prompt Tuning在数据量少的情况下会有很好的表现

数据量更少

在这里插入图片描述

4. Data-Efficient Fine-tuning：Semi-supervised Learning（半监督）

在这里插入图片描述

5. zero-shot

在这里插入图片描述

6. PLMs Are Gigantic -> Reducing the Number of Parameters（对于model很大的时候的解决方法）

在这里插入图片描述

Parameter-Efficient Fine-tuning

在这里插入图片描述

Adapter

在这里插入图片描述

LoRA（比Adapter参数量更少（feature压缩得小），推理更快（平行插入））

在这里插入图片描述

Prefix Tuning（核心：fine-tuning就是要改变hidden representations）

在这里插入图片描述
复习Self-attention

在这里插入图片描述

在这里插入图片描述

Soft Prompting

在这里插入图片描述

4个方法总结

在这里插入图片描述

Early Exit（减少inference推理时间）

在这里插入图片描述

7. Closing Remarks

在这里插入图片描述

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/爱喝兽奶帝天荒/article/detail/858123

推荐阅读

相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

闽ICP备14008679号