在docker中部署ollama体验AI模型_ollama docker部署

docker部署ollama

1.docker部署ollama

CPU模式

docker run -d -v /opt/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
1

GPU模式（需要有NVIDIA显卡支持）
docker使用GPU运行ollama

docker run --gpus all -d -v /data/ai/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
1

docker部署ollama web ui

docker run -d -p 8080:8080 --add-host=host.docker.internal:host-gateway --name ollama-webui --restart always ghcr.io/ollama-webui/ollama-webui:main

ollama模型仓库（可以选择自己想用的模型安装体验）[地址](https://ollama.com/library)

使用docker中的ollama下载并运行AI模型

docker exec -it ollama ollama run llama3:8b

1
2
3
4
5
6
7
8