devbox
tf789
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

ChatGLM + PEFT 进行finetune_runtimeerror: probability tensor contains either `

作者：tf789 | 2024-02-03 19:07:57

赞

踩

runtimeerror: probability tensor contains either `inf`, `nan` or element < 0

kingglory/ChatGLM-Efficient-Tuning

一、前言

1.1 硬件需求

在这里插入图片描述

  • 注：r 为LoRA 维数大小，p 为前缀词表大小，l 为微调层数，ex/s 为每秒训练的样本数。gradient_accumulation_steps 参数设置为 1。上述结果均来自于单个 Tesla V100 GPU，仅供参考。
1.2 微调方法
  • LoRA：仅微调低秩适应器。
  • P-Tuning V2：仅微调前缀编码器。
  • Freeze：仅微调后几层的全连接层。
1.3 软件依赖
  • Python 3.8+, PyTorch 1.13.1
  • 声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/article/detail/57751
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。