赞
踩
如果你觉得openai的gpt没有隐私,或者需要离线使用gpt,还是打造专业领域知识,可以借用AnythingLLM+Ollama轻松实现本地GPT.
AnythingLLM官网地址:
AnythingLLM | The ultimate AI business intelligence tool
Ollama官网下载:
下载好的两个软件如下图:
和安装其它软件一样双击安装即可,如下图:
安装成功后,我们接着再安装Ollama。
和安装其它软件一样双击安装即可,安装成功后右下角有个运行图标如下图:
模型数据默认是保存在C盘的,由于模型数据特别大,所以这里一定要记住配置模型数据的路径,只里设置系统变量OLLAMA_MODELS的值为模型数据保存路径,如下图:
这里考虑到我们平时主要处理中文相关资料,选择阿里的千问模型,结合当前环境笔记是16G内存,我们这里选择千问7b(占用8G内存):
运行选择的模型
ollama run qwen:7b
首次运行会下载该模型,如下图:
下载完成,如下图:
嵌入模型并不直接生产数据,主要用于把本地知识doc.pdf txt等文档保存在向量数据库时用到。
这里我们选择 nomic-embed-text ,它是具有大型令牌上下文窗口的高性能开放嵌入模型。
ollama pull nomic-embed-text
打开AnythingLLM 进行设置项,如下图:
这里选择上面Ollama下载的千问模型
这里选择配置与上面安装的模型nomic-embed-text一致,如下图:
配置嵌入模型在处理上传知识文件保存到向量数据时两个关键参数:
注意:这两个参数仅适用于新嵌入的文档,对已存在的文档没有影响。
设置使用向量数据库,没有特别需求使用默认即可,如下图:
说明:LanceDB是一个开源的无服务器向量数据库,专为处理人工智能应用中的大规模多模态数据(如文本、图像、视频、点云等)而设计。它简化了高维向量的检索、过滤和管理过程,无需用户管理和维护服务器基础设施,从而降低了运维成本并提高了开发效率。
配置完成,如下图:
现在我们开始使用AnythingLLM:
AnythingLLM 有一个很好的概念工作空间,有点像我们平时用eplise创建项目一样,一个项目一个空间,不同的空间还可以单独配置,这样可以很好的划分不同类类型的专业领域。
保存空间名称后,即可正常提问
开始问答:
因为是离线,而本地又没有显卡,所以回答问题时并不是很快,而且CPU会拉升,如下图:
ollama 服务CPU占用50%,内存12G,消耗挺大的。
为当前空间单独配置参数(默认使用设置中的配置)
配置聊天模型,这个配置很重要,如果只是针对知识库直接设置成查询模型即可,如下图:
上传文档形成专业知识库,如下图:
选择文档上传,如下图:
或者输入网址直接获取内容
使用查询模型提问,直接使用知识库如下图:
小结,普通的笔记本电脑在使用查询模式会比聊天模型更快,并且可以节约CPU与内存。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。