使用 Sealos 将 ChatGLM3 接入 FastGPT，打造完全私有化 AI 客服_fastgpt 使用智谱glm的key

FastGPT 是一款专为客服问答场景而定制的开箱即用的 AI 知识库问答系统。该系统具备可视化工作流功能，允许用户灵活地设计复杂的问答流程，几乎能满足各种客服需求。

在国内市场环境下，离线部署对于企业客户尤为重要。由于数据安全和隐私保护的考虑，企业通常不愿意将敏感数据上传到线上大型 AI 模型 (如 ChatGPT、Claude 等)。因此，离线部署成为一个刚需。

幸运的是，FastGPT 本身是开源的，除了可以使用其在线服务外，也允许用户进行私有化部署。相关的开源项目代码可以在 GitHub 上找到：https://github.com/labring/FastGPT

正好上周 ChatGLM 系列推出了其最新一代的开源模型——ChatGLM3-6B。该模型在保留前两代模型流畅对话和低部署门槛的优点基础上，带来了以下新特性：

1. 更强大的基础模型：ChatGLM3-6B 的基础模型，名为 ChatGLM3-6B-Base，具有更丰富的训练数据、更合理的训练策略和更多的训练步数。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的预训练模型中优秀的性能。

2. 更完善的功能：ChatGLM3-6B 引入了全新设计的 Prompt 格式，除了支持正常的多轮对话，还原生支持如工具调用 (Function Call)、代码执行 (Code Interpreter) 和 Agent 任务等复杂场景。

3. 更全面的开源计划：除了 ChatGLM3-6B，该团队还开源了基础模型 ChatGLM-6B-Base 和长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，在登记后亦允许免费商业使用。

本文接下来将详细介绍如何私有化部署 ChatGLM3-6B，并与 FastGPT 结合，构建一个完完全全私有化的 AI 知识库问答系统。

通过这样的整合，企业不仅可以保证数据安全，还能利用最新、最强大的 AI 技术来提升客服效率和用户体验。

原文链接：https://forum.laf.run/d/1085

One API 部署

FastGPT 可以通过接入 One API 来实现对各种大模型的支持，你可以参考 FastGPT 的文档来部署 One API。

FastGPT 部署

如果你不嫌麻烦，可以选择在本地使用 Docker Compose 来部署 FastGPT。

我推荐直接使用 Sealos 应用模板来一键部署，Sealos 无需服务器、无需域名，支持高并发 & 动态伸缩。打开以下链接即可一键部署