赞
踩
基于ChatGLM等大语言模型与Langchain等应用框架,所实现的开源、可离线部署的RAG项目
github链接
项目中默认使用大语言模型是 THUDM/ChatGLM3-6B ,Embedding模型是 BAAI/bge-large-zh
本次的项目实训需要借助RAG技术对外部知识进行索引,但是考虑到调用大模型api的成本,贫穷的学生只能选择体验阿里云的三个月免费云服务器,并在服务器上对预训练的开源模型进行本地部署。
服务器使用人工智能平台PAI下的交互式建模DSW
以下为云平台的申请步骤,不需要的可以跳过。
点击免费试用
在DSW下方点击立即试用(由于我已经申请了,所以显示的是已试用)
点击新建实例,根据提示选择需要的配置即可。由于我们要部署大模型,所以资源配额选项需要选择GPU规格。注意镜像版本的选择,不要选取下拉条太靠后的版本,我选择的是:
dsw-registry-vpc.cn-shanghai.cr.aliyuncs.com/pai/modelscope:1.13.3-pytorch2.1.2tensorflow2.14.0-gpu-py310-cu121-ubuntu22.04
创建成功后在最右方操作栏点击启动,等待启动成功后点击打开,即可使用。
最终界面如下:
python --version
conda create --name chatchat python=3.11
# 拉取仓库
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
# 进入目录
cd Langchain-Chatchat
# 安装全部依赖
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
Hugging Face 是一个流行的自然语言处理 (NLP) 模型库和社区,提供了大量预训练模型、工具和资源,使得 NLP 的开发者和研究人员能够快速高效地构建和应用各种文本相关应用。Hugging Face 相当于 AI 领域的 GitHub,里面的模型都是开源免费的,非常适合 AI 开发者使用
在本次项目中,我使用的是ChatGLM3-6和bge-large-zh-v1.5。
configs/model_config.py.example
文件中 MODEL_PATH
下,embed_model
下bge-large-zh-v1.5
的value修改为模型所在的绝对路径 /mnt/workspace/Langchain-Chatchat/model/bge-large-zh-v1.5
llm_model
下, chatglm3-6b
的value修改为模型所在的绝对路径 /mnt/workspace/Langchain-Chatchat/model/chatglm3-6b
回到项目根目录
python copy_config_example.py2
python init_database.py --recreate-vs
python startup.py -a
项目后端运行在阿里云的服务器上,成功运行后会提供web界面的本地地址,点击跳转,可以在自己的浏览器中查看。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。