OLLAMA部署qwen:7b,与fastgpt集成_ollama fastgpt

ollama是什么?

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。Ollama 的主要功能是在 Docker 容器内部署和管理 LLM 的促进者，它使该过程变得非常简单。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型，例如 Llama 2。

安装

安装ollama

此处是在centos7.6，有一张古老的GTX 1180Ti 11G的显卡，配置和驱动如下：

下载并安装

使用root或者有sudo权限的用户
curl -fsSL https://ollama.com/install.sh | sh
安装好后，执行：service ollama stop 停止服务。

默认是绑定在127.0.0.1的IP，若需要绑定到指定IP，那么采用如下:
export OLLAMA_HOST=xx.xx.xx.71:11434 //这样会启动在指定IP上
ollama serve & //注意，不要用service ollama start来启动，这样环境变量不生效

运行qwen:7b

ollama run qwen:7b
注：第一次运行会下载模型，这个模型有4G多。
成功后ÿ