当前位置:   article > 正文

从huggingface下载模型像本地加载但是UnicodeDecodeError_huggingface unicodedecodeerror

huggingface unicodedecodeerror

我自己是在Linux下出现了这个问题

解决

加入local_files_only=True。参考官方:https://huggingface.co/docs/transformers/installation#offline-mode

另外要注意

原文:https://github.com/huggingface/transformers/issues/13674

The path for the AutoModel should be to a directory pointing to a pytorch_model.bin and to a config.json. Since you’re pointing to the .bin file directly, the configuration cannot be loaded.

也就是除了model文件之外,还要有一个config.json文件在旁边,2个是要一起的。有一些不光要config.json,还有其他的文件,多下点,都放上。

下面的config.json和符合框架的model文件。
在这里插入图片描述

总结

把所有的文件下砸完之后,再在from pretrain里面加上··local_files_only=True:
model = xxx.from_pretrained("./path/to/local/directory", local_files_only=True)

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/黑客灵魂/article/detail/943031
推荐阅读
相关标签
  

闽ICP备14008679号