LLAMA模型部署与一些关键定义_llama部署

llama模型

LLAMA来源与Meta的开源大模型，截止到20230720，已经有第二个版本面世，第二个版本已经支持免费商业化，所以学习llama模型无论是自我提升，还是创业都有很大的基础保障。
一些个人的观点：笔者一度觉得Meta在元宇宙领域决策的失误，可能带来一系列的灾难后果，但当前从大模型来看，Meta可能又要站在了AI的头部。你不得不去佩服扎克伯格对于未来的精准把控。
1
2

基础知识讲解

这个有很长的路要走，当前先不讲了，后面开一个专题讲讲。

环境部署

首先在conda里面构建自己的工作环境

生成一个新的kernel环境

conda create -n py3 python=3 # 创建一个python3的环境，名为py3
source activate py3 # 激活py3环境 有可能报错，执行source activate 后再执行 conda init activate
conda install ipykernel # 安装ipykernel模块
python -m ipykernel install --user --name py3 --display-name "py3" # 进行配置
jupyter notebook # 启动jupyter notebook，然后在"新建"中就会有py3这个kernel了 
1
2
3
4
5

在bash中切换到这个环境

# 查看conda中有哪些环境
conda env list
# 如果说activate不存在，则执行source activate 后再执行 conda init activate，再执行如下命令
conda activate py3
1
2
3
4

Llama部署

克隆项目

git clone https://github.com/pengwei-iie/llama_bugs.git
1

安装相关包

cd llama_bugs
pip3 install -r requirements.txt
1
2

安装相关依赖包

pip3 install -e .
1

下载llama模型包

git lfs install
git clone https://huggingface.co/nyanko7/LLaMA-7B
1
2

命令行执行

torchrun --nproc_per_node 1 example.py --ckpt_dir ./LLaMA-7B --tokenizer_path ./LLaMA-7B/tokenizer.model
1

其中

• ckpt_dir 是指模型文件存放的文件夹名称
• tokenizer_path 是指分词器所存放的文件夹位置
• nproc_per_node:nproc_per_node=4:表示每个node上节点有4个process,llama-7B每个节点上只有一个process