[算法前沿]--046-大模型量化的基本原理

作者：我家自动化 | 2024-04-05 08:52:13

踩

大模型量化

1.模型为啥需要量化?

我们都知道越宽越深的模型比越窄越浅的模型精度高,效果好;但是越来越多的模型需要再边缘设备上部署,云部署还能满足计算要求,边缘设备上的算力有限.因此我们不得不考虑存储空间,设别内存,设备运行功耗以及延时性等问题,特别是在消费级pc上和移动终端上部署模型.因此解决模型的量化应运而生.

模型量化即以较低的推理精度损失将连续取值的浮点型模型权重进行裁剪和取舍，它是以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程，而模型的输入输出依然是浮点型，从而达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标。

比如int8量化，

本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】