NotImplementedError: Cannot copy out of meta tensor； no data!

这个问题出现在我对llama-2-70b进行量化后，
重新加载模型时出现的问题

#错误信息
new_value = value.to(device)
NotImplementedError: Cannot copy out of meta tensor; no data!
1
2
3

参考了一些答案，需要先确保自己的库是对的。
然后在pytorch上有人问了在tensor转移时遇到的问题
发现和我遇到的问题报错很相似

tensor转移方法
主要还是从CPU和GPU上TENSOR的相互转换的时候遇到的问题
最大的问题还是我太相信transformers自带的bitsandbytes库了

#修改方式
#origin: new_value=old_value.to("cpu"),下面两种写法任选其一
new_value=torch.tensor(old_value,device="cpu")
new_value=torch.empty_like(old_value,device="cpu")
#origin: new_value=old_value.to(device)
new_value=torch.tensor(old_value,device=device)
new_value=torch.empty_like(old_value,device=device)
1
2
3
4
5
6
7