热门标签
热门文章
- 1android基础之四——广播与服务(一)_(1)实现发送有序广播,根据广播接收者的优先级高低依次接收广播消息; (2)使用广
- 2流程图用什么软件做？选择这4款，让工作事半功倍
- 3AI 学会“脑补”：神经网络超逼真图像补完从 0 到 1_ai upsample
- 4model-free 方法：动态规划法DP(dynamic programing)_model-free统计推断
- 5原生Android通过scale进行放大缩小_android scaley
- 6Could not get any response postman报错 但是浏览器可以访问_could not get any response there was an error conn
- 7java3-5年面试题——基础篇_java面试题5年
- 8Strongswan5.3.5与Android5.0.2(小米)野蛮模式的L2TPoverIPsec的对接_parsed aggressive request 0 [ sa ke no id v v v v
- 9【聆思CSK6语音大模型AI开发套件试用】语音控制电梯功能的设备端处理
- 10探索知乎世界：一款高效强大的爬虫工具 —— zhihu-spider
当前位置: article > 正文
Transformers 中原生支持的量化方案概述_transformers quantize
作者：你好赵伟 | 2024-08-16 18:35:30
赞
踩
transformers quantize
转载自：https://huggingface.co/blog/zh/overview-quantization-transformers
本文也提供英文版本 English。
本文旨在对 transformers 支持的各种量化方案及其优缺点作一个清晰的概述，以助于读者进行方案选择。
目前，量化模型有两个主要的用途:
- 在较小的设备上进行大模型推理
- 对量化模型进行适配器微调
到目前为止，transformers 已经集成并 原生 支持了 bitsandbytes 和 auto-gptq 这两个量化库。
请注意，声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/989410
推荐阅读
相关标签
Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。
