赞
踩
PEFT 是一个为大型预训练模型提供多种高效微调方法的Python 库。
微调传统范式是针对每个下游任务微调模型参数。大模型参数总量庞大,这种方式变得极其昂贵和不切实际。
PEFT 采用的高效做法是训练少量提示参数(Prompt Tuning)或使用低秩适应(LoRA)等重新参数化方法来减少微调时训练参数的数量。
Hugging Face PEFT 库支持的模型和微调方法
## PEFT 与Transformers 如何集成?
复习:Transformer 预训练模型常见分类
应用:Transformers AutoModel 常见模型
Transformers Auto Classes 设计
AutoClasses 旨在通过全局统一的接口from_pretrained() ,实现基于名称(路径)自动检索预训练权重(模
型)、配置文件、词汇表等所有与模型相关的抽象。
PEFT AutoPeftModels 与Adapters 设计
AutoPeftModel 通过从配置文件中自动推断任务类型来加载适当的PEFT模型。旨在以一行代码便捷加载一个PEFT模型,而无需担心需要哪个确切的模型类或手动加载PeftConfig。
PEFT 类型配置与PeftModel 实例化
AutoPeftModels 简化流程
AutoPeftModels 简化流程
以task_type 为核心简化PEFT 流程
PEFT 无缝对接Transformers Trainer 训练模型
PEFT 库微调工作原理与最佳实践(以LoRA 为例)
PEFT 库微调工作原理与最佳实践(以LoRA 为例)
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。