本地部署Gemma-7b_gemma 7b

安装miniconda：

清华源：

Index of /anaconda/miniconda/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror

创建虚拟环境：在命令行中输入以下命令，其中env_name是您想要命名的虚拟环境名称，python=x.x是您指定的Python版本。

conda create -n gemma7b python=3.9

激活虚拟环境：创建虚拟环境后，使用以下命令来激活它。

conda activate gemma7b

拉取模型文件：

pip install -U huggingface_hub
$env:HF_ENDPOINT = "https://hf-mirror.com"

在官网这里获取 Access Token 后回镜像站用命令行下载。

huggingface-cli download --resume-download --token hf_*** google/gemma-7b --local-dir gemma-7b

安装pytorch：PyTorch

CUDA：直接在官网选择pyotrch对应的CUDA版本下载。CUDA Toolkit Archive | NVIDIA Developer 选择安装位置：E：\CUDA_manager\

cudnn:cuDNN Archive | NVIDIA Developer 解压后将目录中所有文件复制到目录：E：\CUDA_manager\ 中，覆盖所有冲突文件，此电脑—>右击属性—>高级系统设置—>环境变量，添加替换后的 bin、include、lib以及libnvvp路径

安装Transformers库：确保您已经安装了最新版本的Transformers库。您可以使用以下命令进行

pip install -U transformers

 测试环境：

import torch
print(torch.cuda.is_available())

导入模型和分词器：使用Transformers库中的AutoModelForCausalLM和AutoTokenizer类来导入Gemma-7B模型和相应的分词器，选择bfloat16精度。

pip install accelerate

from transformers import AutoTokenizer, AutoModelForCausalLM
 
tokenizer = AutoTokenizer.from_pretrained("./")
 
model = AutoModelForCausalLM.from_pretrained("./", device_map="cuda:0", torch_dtype=torch.bfloat16)

运行模型：准备您的输入文本，并使用分词器将其转换为模型所需的格式。然后，您可以使用模型的generate方法来生成文本。

input_text = "您想生成的文本。"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda:0")
outputs = model.generate(**input_ids,max_length=150)
print(tokenizer.decode(outputs[0]))