阿里云部署ChatGLM-6B及ptuning微调教程_chatglm p-tuning微调

一、模型部署

1.进入阿里云人工智能平台PAI。

2.申请免费试用。

3.打开交互式建模 PAI-DSW。

4.新建实例。

5.填写配置。

6.实例准备完成后点击打开。

7.打开实例后点击Teminal。

8.在Teminal中依次输入以下命令并执行。

apt-get update
apt-get install git-lfs
git lfs install
git init
git-lfs init
git lfs install

9.继续在Teminal中输入以下命令来获取项目文件，执行完成后点击Notebook检查项目文件是否成功获取。

https://github.com/THUDM/ChatGLM-6B.git

如果获取太慢或者获取失败，就在github上下载好代码的压缩包到本地上传并进行解压。

unzip ChatGLM-6B-main_0515.zip

10.回到Teminal进入项目文件创建一个model文件夹用于存放模型，创建完成后进入model文件夹拉取模型，由于huggingface可能连接不稳定，这里采用国内的modelscope社区来拉取模型。对应的命令如下。

cd ChatGLM-6B
mkdir model
cd model
git clone https://www.modelscope.cn/ZhipuAI/ChatGLM-6B.git

11.执行完成后点击Notebook进入model文件夹检查模型是否拉取完整，发现模型与项目文件同名，我们将其改为小写。（记得仔细检查下模型是否拉取完整）

若拉取失败，也可用上述方法将文件下载到本地再上传。

12.回到Teminal输入以下命令返回上一级项目文件目录安装依赖。

cd ..
pip install -r requirements.txt

13.安装完成后点击Notebook，在项目文件目录下修改web_demo.py文件（主要是修改模型路径），修改完成后使用 Ctrl + s 保存。

14.最后回到Teminal运行web_demo.py文件。

python web_demo.py

15.执行后可能会出现以下报错，原因是gradio版本过高，需安装一个低版本的gradio。

pip install gradio==3.39.0

16.再次尝试执行web_demo.py文件，得到了一个url，点击url进入模型的web界面，再进行问答测试发现成功部署。

二、模型微调

1.首先来看下github上给出的微调数据集格式。

我们根据其格式编写一些自己的微调数据并保存为train.json文件到桌面，具体如下图所示。

2.回到项目文件，我们看到项目文件已经给了一个ptuning的文件夹。

3.将自己编写的微调数据文件train.json从桌面拖入到ptuning文件夹中。

4.修改ptuning目录下的train.sh文件。

5.点击Teminal输入以下命令进入ptuning目录下运行train.sh文件，进行微调训练。

cd ChatGLM-6B
cd ptuning
bash train.sh

如果提示出现缺少模块错误，提示缺啥就装啥（使用 pip install xx 安装）。训练的过程和训练完成后的界面如下图所示。

6.训练完成后点击Notebook，发现ptuning目录下多出了一个output文件夹，进入output文件夹看到的checkpoint-500 就是我们最后训练得到的微调模型。

7.（该步骤可以跳过）可以对evaluate.sh文件进行修改并运行来对训练得到的微调模型进行评估。

修改完成后点击Teminal，还是在ptuning目录下执行。评估完成后会在output文件中生成generated_prediction.txt文件来汇报评估结果。

bash evaluate.sh

8.最后修改ptuning目录下的web_demo.sh文件，再去Teminal中ptuning目录下输入命令运行。修改的参数和运行的命令如下。

bash web_demo.sh

9.运行完成后同样也得到一个url，点击url进入微调好的模型的web界面，进行问答测试。问的姓名与自己编写的数据有点差别，但星座准确地答出来了，这与训练过程有关，不过也算有点微调效果了。

最后说下自己也是入门学习大模型，可能理解表述有问题，欢迎指教。以上内容学习于B站up主：Joker大金宝。视频链接如下，如有侵权，联系删除。

在阿里云上部署chatGLM-6B_哔哩哔哩_bilibili

在阿里云上微调chatGLM-6B_哔哩哔哩_bilibili