LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)_llama3-gradient

LLMs之LLaMA-3：Llama-3-70B-Gradient-1048k-adapter的简介、源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)将LLaMA-3扩展到100万/1048k上下文——解析命令行参数→在基础模型上循环加载LoRA模型→加载分词器模型→将合并后的模型以及分词器保存到指定目录或推送到模型中心

目录

Llama-3-70B-Gradient-1048k-adapter的简介

1、渐进式训练细节

源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)将LLaMA-3扩展到100万/1048k上下文——解析命令行参数→在基础模型上循环加载LoRA模型→加载分词器模型→将合并后的模型以及分词器保存到指定目录或推送到模型中心

脚本命令

实现代码

---

Llama-3-70B-Gradient-1048k-adapter的简介

Llama-3 70B Gradient 1048K Adapter是一个从语言模型中提取的LoRA。它是使用mergekit提取的。此适配器可以与任何基于Llama3-70b的模型一起运行（或与之合并），以赋予它1048k的上下文。

地址：https://huggingface.co/cognitivecomputations/Llama-3-70B-Gradient-1048k-adapter

1、渐进式训练细节

源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)将LLaMA-3扩展到100万/1048k上下文——解析命令行参数→在基础模型上循环加载LoRA模型→加载分词器模型→将合并后的模型以及分词器保存到指定目录或推送到模型中心

脚本命令

python merge_adapters.py --base_model_name_or_path <base_model> --peft_model_paths <adapter1> <adapter2> <adapter3> --output_dir <merged_model>

Python脚本的命令行调用示例，如上所示，用于执行一个名为merge_adapters.py的脚本。该脚本接受一系列命令行参数，这些参数指定了基础模型和要合并的PEFT模型的路径，以及合并后模型的输出目录。以下是每个参数的解释：

• --base_model_name_or_path <base_model>：这个参数指定了基础模型的名称或路径。基础模型是合并操作的起点，通常是一个预训练的语言模型。

• --peft_model_paths <adapter1> <adapter2> <adapter3>：这个参数接受一个或多个PEFT模型的路径。PEFT模型通常包含了在特定任务上对基础模型进行微调的参数。在这个例子中，有三个PEFT模型<adapter1>、<adapter2>和<adapter3>将被合并到基础模型上。

• --output_dir <merged_model>：这个参数指定了合并后的模型应该保存的目录。<merged_model>是输出目录的路径。

当这行代码在命令行中执行时，merge_adapters.py脚本将被调用，并且使用提供的参数来加载基础模型和PEFT模型，将它们合并，然后将合并后的模型保存到指定的输出目录。这个过程允许用户创建一个包含多个微调任务知识的单一模型，而无需对整个模型进行完全微调。

实现代码

 
'''
LLMs之LLaMA-3：源代码解读merge_adapters.py(仅需58行代码)合并多个PEFT模型(LoRA技术)将LLaMA-3扩展到100万/1048k上下文——解析命令行参数→在基础模型上循环加载LoRA模型→加载分词器模型→将合并后的模型以及分词器保存到指定目录或推送到模型中心
源代码地址：https://gist.github.com/ehartford/731e3f7079db234fa1b79a01e09859ac
这段代码提供了一个工具，允许用户将多个PEFT模型合并到一个基础模型上，从而实现模型能力的扩展。
PEFT是一种参数高效的微调方法，它允许在不修改基础模型参数的情况下，通过添加少量的参数来适应新的任务。
这个脚本简化了合并过程，并提供了将合并后的模型保存到本地或推送到模型中心的功能。通过这种方式，用户可以轻松地在不同的微调任务之间迁移和组合模型改进。
'''
 
# This supports merging as many adapters as you want.
# python merge_adapters.py --base_model_name_or_path <base_model> --peft_model_paths <adapter1> <adapter2> <adapter3> --output_dir <merged_model>
 
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch
import os
import argparse
 
def get_args():
    parser = argparse.ArgumentParser()
    parser.add_argument("--base_model_name_or_path", type=str)
    parser.add_argument("--peft_model_paths", type=str, nargs='+', help="List of paths to PEFT models")
    parser.add_argument("--output_dir", type=str)
    parser.add_argument("--device", type=str, default="cpu")
    parser.add_argument("--push_to_hub", action="store_true")
    parser.add_argument("--trust_remote_code", action="store_true")
    return parser.parse_args()
 
def main():
    # 1、解析命令行参数，包括基础模型路径、PEFT 模型路径、输出目录等。
    args = get_args()
 
    # 2、加载基础模型并进行合并
    # 2.1、加载基础模型base_model可以指定模型的数据类型和是否信任远程代码
    # 根据参数选择加载到CPU或自动选择设备
    if args.device == 'auto':
        device_arg = {'device_map': 'auto'}
    else:
        device_arg = {'device_map': {"": args.device}}
    print(f"Loading base model: {args.base_model_name_or_path}")
    base_model = AutoModelForCausalLM.from_pretrained(
        args.base_model_name_or_path,
        return_dict=True,
        torch_dtype=torch.float16,
        trust_remote_code=args.trust_remote_code,
        **device_arg
    )
 
    # 2.2、循环加载并合并PEFT模型：遍历PEFT模型路径列表，加载每个PEFT模型，并将其合并到基础模型上。每次合并后，都会调用merge_and_unload方法释放资源
    model = base_model
    for peft_model_path in args.peft_model_paths:
        print(f"Loading PEFT: {peft_model_path}")
        model = PeftModel.from_pretrained(model, peft_model_path, **device_arg)
        print(f"Running merge_and_unload for {peft_model_path}")
        model = model.merge_and_unload()
 
    # 3、加载与基础模型对应的分词器tokenizer
    tokenizer = AutoTokenizer.from_pretrained(args.base_model_name_or_path)
 
    # 4、根据参数选择将合并后的模型和分词器保存到指定目录或推送到模型中心
    # 如果指定了 --push_to_hub 参数，则将模型和 tokenizer 推送到 Hugging Face Hub。否则，调用 save_pretrained() 方法将模型和 tokenizer 保存到指定的输出目录。
    if args.push_to_hub:
        print(f"Saving to hub ...")
        model.push_to_hub(f"{args.output_dir}", use_temp_dir=False)
        tokenizer.push_to_hub(f"{args.output_dir}", use_temp_dir=False)
    else:
        model.save_pretrained(f"{args.output_dir}")
        tokenizer.save_pretrained(f"{args.output_dir}")
    # 输出保存模型的信息
    print(f"Model saved to {args.output_dir}")
 
if __name__ == "__main__":
    main()