当前位置:   article > 正文

llama使用tutorial微调(windows版本)_llama windows微调

llama windows微调

Llama3-Tutorial/docs/assistant.md at main · SmartFlowAI/Llama3-Tutorial · GitHub

有一些命令需要修改

前期的安装还是要按照教程搞的

streamlit run ~/Llama3-Tutorial/tools/internstudio_web_demo.py \
  ~/model/Meta-Llama-3-8B-Instruct

改为了
streamlit run .\Llama3-Tutorial\tools\internstudio_web_demo.py .\model\Meta-Llama-3-8B-Instruct\(注意自己的路径)

剩下的都是我修改后的

 1.xtuner train configs/assistant/llama3_8b_instruct_qlora_assistant.py --work-dir ../llama3_pth

2.注意llama3_8b_instruct_qlora_assistant.py也需要修改对应的目录路径

  1. pretrained_model_name_or_path = 'D:\llama3-boss-train\model\Meta-Llama-3-8B-Instruct'
  2. use_varlen_attn = False
  3. data_files = ['D:\llama3-boss-train\Llama3-Tutorial\data\personal_assistant.json']

3. xtuner convert pth_to_hf .\llama3_pth\llama3_8b_instruct_qlora_assistant.py .\llama3_pth\iter_288.pth .\llama3_hf_adapter

4.set MKL_SERVICE_FORCE_INTEL=1
>> xtuner convert merge  --device auto .\model\Meta-Llama-3-8B-Instruct .\llama3_hf_adapter .\llama3_hf_merged

5.streamlit run .\Llama3-Tutorial\tools\internstudio_web_demo.py .\llama3_hf_merged

推荐1200 

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/754489
推荐阅读
相关标签
  

闽ICP备14008679号