赞
踩
本文主要记录这一段时间对本地大模型搭建的心得。
作为一个资深程序员,在AI席卷全球的时候,深深感觉到了一丝危机感,不禁有一个想法不断在脑海闪现:我会不会真的哪一天被AI给取代了?
程序员出生的我,掌握了很多语言,从前端到数据库,再到运维,基本都能一个人搞定,所以,我对搭建一个AI程序还是很自信的。
于是,我开始研究各个比较火的大模型:Chatgpt3.5、chatgpt4.0、chatgpt4o、llama、通义千问、豆包、等等。
发现他们的api从以前的不收费到现在的慢慢开始收费,我相信,后面肯定会收费的。于是,我就有了搭建本地大模型的方法,用别人的再爽,那也是别人的,万一哪天,别人宕机了,或者涨价了,你是用还是不用呢?
当有了搭建的想法之后,就是落地了。怎么安装本地大模型呢?于是各种搜索,,,,挺费时间的,还需要实践。不得不说,你们运气真好,碰到我了。
经过实践之后,我发掘了两套部署方式:
下载完之后,直接安装就行了。
打开之后的界面是这个样子:
在主页,你可以选择你要下载的大模型,然后下载。
下载半天你会发现,下载不了,爆红了:
此时不要着急,找到它下载的配置文件,一般在:C:\Users\你的电脑名称.cache\lm-studio。
打开下面的文件:
把所有的:huggingface.co换成:hf-mirror.com
保存后,重新打开LmStudio,点try_resume,发现可以下载了。
下载完之后,你就可以用啦。
地址是:https://ollama.com/download
下载完之后,安装。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。