LLaMA-Factory可视化界面微调chatglm2；LoRA训练微调模型简单案例

作者：ex123 | 2024-01-30 08:21:31

踩

llama-factory

参考：https://github.com/huggingface/peft
https://github.com/hiyouga/LLaMA-Factory
在这里插入图片描述

类似工具还有流萤，注意是做中文微调训练这块；来训练微调的chatglm2需要完整最新文件，不能是量化后的模型；另外测试下来显卡资源要大于20来G才能顺利，这边T4单卡训练中间显存不足，需要开启4bit量化才行
在这里插入图片描述

1）下载github代码
2）运行web界面

CUDA_VISIBLE_DEVICES=0 python src/train_web.py

1
2

在这里插入图片描述
3）chatglm2代码下载最新的：https://huggingface.co/THUDM/chatglm2-6b/tree/main
4）配置好参数即可点击开始训练

显卡使用：<

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/article/detail/45715

LLaMA-Factory可视化界面微调chatglm2；LoRA训练微调模型 简单案例