当前位置:   article > 正文

【AI学习】在魔塔社区玩Ollama:部署GLM4和CodeGeeX4

【AI学习】在魔塔社区玩Ollama:部署GLM4和CodeGeeX4

看到文章《Ollama可以玩GLM4和CodeGeeX4了,快来魔搭玩起来》,参考的运行了一遍,折腾了一个晚上加一个上午,终于搞定了。本来很简单的事情,对这个代码小白,还是有点坑。。
GPU要明显快很多,CPU的速度,也还凑合吧。

个人尝试,整个过程如下:

1)启动魔塔社区的Notebook环境:
在这里插入图片描述
2)启动一个Terminal
在这里插入图片描述
3)在启动的Terminal输入以下命令:
先需要下载模型

modelscope download --model=LLM-Research/glm-4-9b-chat-GGUF --local_dir . glm-4-9b-chat.Q5_K.gguf

使用魔搭镜像环境安装,这一步是必须的:

modelscope download --model=modelscope/ollama-linux --local_dir ./ollama-linux
cd ollama-linux
sudo chmod 777 ./ollama-modelscope-install.sh
./ollama-modelscope-install.sh

启动Ollama服务

ollama serve

显示如下:
在这里插入图片描述
3)然后再启动一个Terminal
注意,需要另外启动一个Terminal
创建ModelFile
复制模型路径,创建名为“ModelFile”的meta文件,内容如下:

FROM /mnt/workspace/glm-4-9b-chat.Q5_K.gguf
#FROM /mnt/workspace/codegeex4-all-9b-Q5_K_M.gguf

# set parameters
PARAMETER stop "<|system|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"

TEMPLATE """[gMASK]<sop>{{ if .System }}<|system|>
{{ .System }}{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}{{ end }}<|assistant|>
{{ .Response }}"""

创建自定义模型
使用ollama create命令创建自定义模型

ollama create myglm4 --file ModelFile

运行模型:

ollama run myglm4

然后就成功了,显示如下:
在这里插入图片描述
4)也尝试了一下CodeGeeX4-ALL-9B 的Ollama部署

基本过程也一样
就是需要先下载模型:

modelscope download --model=LLM-Research/codegeex4-all-9b-GGUF --local_dir . codegeex4-all-9b-Q5_K_M.gguf

修改ModelFile,把“#FROM /mnt/workspace/codegeex4-all-9b-Q5_K_M.gguf”的注释取消,把“FROM /mnt/workspace/glm-4-9b-chat.Q5_K.gguf”注释掉

最后结果如下:
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/煮酒与君饮/article/detail/1022477?site
推荐阅读
相关标签
  

闽ICP备14008679号