【个人笔记本】本地化部署详细流程 LLaMA中文模型：Chinese-LLaMA-Alpaca-2_linux部署chinese-llama

不推荐小白，环境配置比较复杂

全部流程

• 下载原始模型：Chinese-LLaMA-Alpaca-2
• linux部署llamacpp环境
• 使用llamacpp将Chinese-LLaMA-Alpaca-2模型转换为gguf模型
• windows部署Text generation web UI 环境
• 使用Text generation web UI 加载模型并进行对话

---

准备工作

1. 笔记本环境：

   • 操作系统：win11
   • CPU：AMD R7535HS
   • GPU：笔记本4060显卡
   • CUDA版本：11.8
   • VM虚拟机：Ubuntu16
     
     

2. 下载模型和部署环境全程需要挂梯子

---

下载原始模型

原项目链接：https://github.com/ymcui/Chinese-LLaMA-Alpaca-2