llama使用tutorial微调（windows版本）_llama windows微调

作者：笔触狂放9 | 2024-06-25 00:54:00

踩

llama windows微调

Llama3-Tutorial/docs/assistant.md at main · SmartFlowAI/Llama3-Tutorial · GitHub

有一些命令需要修改

前期的安装还是要按照教程搞的

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
~/model/Meta-Llama-3-8B-Instruct

改为了
streamlit run .\Llama3-Tutorial\tools\internstudio_web_demo.py .\model\Meta-Llama-3-8B-Instruct\（注意自己的路径）

剩下的都是我修改后的

1.xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir ../llama3_pth

2.注意llama3_8b_instruct_qlora_assistant.py也需要修改对应的目录路径


pretrained_model_name_or_path = 'D:\llama3-boss-train\model\Meta-Llama-3-8B-Instruct'
 
use_varlen_attn = False
 
data_files = ['D:\llama3-boss-train\Llama3-Tutorial\data\personal_assistant.json']

3. xtuner convert pth_to_hf .\llama3_pth\llama3_8b_instruct_qlora_assistant.py .\llama3_pth\iter_288.pth .\llama3_hf_adapter

4.set MKL_SERVICE_FORCE_INTEL=1
>> xtuner convert merge --device auto .\model\Meta-Llama-3-8B-Instruct .\llama3_hf_adapter .\llama3_hf_merged

5.streamlit run .\Llama3-Tutorial\tools\internstudio_web_demo.py .\llama3_hf_merged

推荐1200

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/笔触狂放9/article/detail/754489