Ollama如何构建自己的Llama3中文模型模型_ollama 中文模型

Ollama

Ollama 是一个开源的大型语言模型（LLM）服务工具，它允许用户在本地机器上运行和部署大型语言模型。Ollama 设计为一个框架，旨在简化在 Docker 容器中部署和管理大型语言模型的过程，使得这一过程变得简单快捷。用户可以通过简单的命令行操作，快速在本地运行如 Llama 3 这样的开源大型语言模型。

应用模型

“

注意：推荐下载 GGUF文件格式的模型，可以快速简洁的导入 Ollama 中

0X01 下载模型文件

“

下载地址：https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit/tree/main

下载 Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf 模型文件

0X02 编写模型文件

“

Modelfile文件内容如下：

# FROM 指定 GGUF 文件的路径   FROM D:/AI/Download/Llama3-8B-Chinese-Chat-q8_0-v2_1.gguf   
1

0X03 创建 Ollama 模型

“

使用ollama create命令可以根据Modelfile创建一个新的模型

ollama create tinywan-Llama3-8B-Chinese -f ./Modelfile      transferring model data   using existing layer sha256:ea6e8d5cda0fc798898b67f6e728eb2d02877a2599aa3c8290aaa6f681c2bb9e   creating new layer sha256:e6e86a160950a92b7b32fcd6fcbc830e38634be6d616ec57452561bfe2a243fb   writing manifest   success   
1

这个命令会读取Modelfile中的配置，并创建一个名为tinywan-Llama3-8B-Chinese的新模型。

“

通过命令ollama list查看模型列表

> ollama list   NAME                                    ID              SIZE    MODIFIED   tinywan-Llama3-8B-Chinese:latest        adcb30feaee5    16 GB   About a minute ago   llama3:8b                               a6990ed6be41    4.7 GB  2 weeks ago   
1

0X04 运行 Ollama 模型

使用 ollama run 命令来验证tinywan-Llama3-8B-Chinese新模型

ollama run tinywan-Llama3-8B-Chinese:latest   
1

模型测试

>>> 写一首诗吧   。"我说。      他眨了眨眼，微笑着回答道：“好啊，我试试看。”然后，他闭上眼睛，开始吟唱：      在星空之下，   月光洒银辉。   风轻轻地舞，   树叶低语。      山川河流静默，   夜晚笼罩大地。   但就在这宁静中，   我感受到生命的脉动，   它如同诗歌般跳跃，   穿梭于每一颗心中。   
1

REST API

除了命令行界面，OLlama还提供了REST API，使得您可以通过HTTP请求与模型交互。这对于在Web应用程序中集成ollama尤其有用。

请求

要生成模型的响应，您可以发送一个POST请求到 /api/generate

curl -X POST http://localhost:11434/api/generate -d '{    "model": "llama3:8b",    "prompt": "中文回答。你是什么大模型？",    "stream": false   }'   
1

响应

返回一个JSON对象流：

{    "model": "llama3:8b",    "created_at": "2024-05-12T09:00:01.9513668Z",    "response": "I'm LLaMA, a large language model developed by Meta AI that can understand and respond to human input in a conversational manner. I've been trained on a massive dataset of text from the internet and can generate human-like responses to a wide range of topics and questions. My training data includes but is not limited to:\n\n* Web pages: articles, blogs, forums\n* Books: fiction and non-fiction\n* Research papers: academic journals, research articles\n* User-generated content: social media, comments, reviews\n\nI'm able to generate responses that are contextualized to the conversation I'm having with you. This means I can recall previous statements or questions in our conversation and respond accordingly.\n\nMy capabilities include:\n\n* Answering questions on a wide range of topics, from science and history to entertainment and culture\n* Generating text summaries of long pieces of content\n* Translating text from one language to another (in this case, Chinese to English)\n* Responding to natural language input in a conversational manner\n\nI'm constantly learning and improving my responses based on the conversations I have with users like you. So feel free to ask me anything, and I'll do my best to provide helpful and accurate information!",    "done": true,    "done_reason": "stop",    "context": [     128006,     ...     128009    ],    "total_duration": 37185731000,    "load_duration": 10876300,    "prompt_eval_count": 13,    "prompt_eval_duration": 1058480000,    "eval_count": 248,    "eval_duration": 36115711000   }   
1

“

更多了解：https://github.com/ollama/ollama/blob/main/docs/api.md

meta-llama

“

项目开源地址：https://github.com/meta-llama/llama3

模型下载直接在在Hugging Face上下载就是了。模型地址：https://huggingface.co/models

“

注意：推荐下载GGUF文件格式的模型，可以快速简洁的导入Ollama中。有了gguf格式的模型文件这样就不需要通过llama.cpp项目进行模型格式转换了。

其他

删除模型

如果需要删除一个本地的模型，可以使用ollama rm命令。这将从您的本地环境中删除名为my-model的模型。

ollama rm my-model   
1

复制模型

您可以使用ollama cp命令复制一个模型，创建一个新的模型副本：

ollama cp original-model new-model   
1

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】