从前慢现在也慢

这个屌丝很懒，什么也没留下！

热门标签

热门文章

当前位置: article > 正文

LLMs之GLM-4：基于AutoDL云服务器利用自定义json格式指令数据集+数据格式转换(单轮问答对message【user-assistant】、多轮对话)对GLM-4-9b-chat训练(Lo_autodl 自定义服务

作者：从前慢现在也慢 | 2024-08-20 12:37:58

赞

踩

autodl 自定义服务

LLMs之GLM-4：基于AutoDL云服务器利用自定义json格式指令数据集+数据格式转换(单轮问答对message【user-assistant】、多轮对话)对GLM-4-9b-chat训练(LoRA/P-Tuning v2微调)+推理案例的全流程实战

目录

一、清理服务器缓存

ECS之AutoDL：AutoDL中系统盘和数据盘的简介、解决存储爆满实战案例图文教程(解决云计算服务器AutoDL中系统盘爆满、显存占用kill进程等)、清理服务器缓存之详细攻略

二、模型推理

2.1、一键部署官方模型并推理

三、模型微调

MLM之GLM-4：GLM-4-9B源码解读(finetune.py)模型微调与评估的完整实现——定义命令行参数→加载微调配置/模型/分词器/数据管理器→定义数据集(训练集/验证集/测试集)→模型训练(梯度检查点/支持从检查点恢复训练)→模型评估(存在测试数据集/基于ROUGE和BLEU分数)

3.1、基于GLM-4-9b实现问答对话(单轮)微调

第一步，构造并转换微调数据集

T1、采用LoRA实现

第二步，执行微调

解读训练输出日志

第三步，执行推理：测试对话功能

MLM之GLM-4：GLM-4-9B源码解读(inference.py)加载预训练的因果语言模型基于用户提问实现对话生成——定义对话消息模板{system+tools+user}→加载模型和分词器→利用apply_chat_template函数应用对话模板(将消息转换为模型输入格式)→定义生成参数并生成输出→解码输出并打印响应

T2、采用P-Tuning v2实现微调：训练阶段(耗费显存更高)，推理阶段(易过拟合、易连续不断吐出文本)

ptuning_v2.yaml

第二步，执行微调

解读训练输出日志

第三步，执行推理

3.2、基于GLM-4-9b实现问答对话(多轮)微调

第一步，构造并转换微调数据集

T1、采用LoRA实现微调

第二步，执行微调

解读训练输出日志：爆显存！

lora.yaml：参数基本等同于单轮对话，但是为了降低显存，需要修改部分参数

第三步，执行推理：测试对话功能，更新中……

一、清理服务器缓存

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/从前慢现在也慢/article/detail/1007218

推荐阅读

相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

闽ICP备14008679号