热门标签
热门文章
- 1目标检测算法：anchor_free系列解读_anchorfree是什么意思
- 2rabbitMQ对优先级队列的使用_java设置rabbitmq队列优先级
- 3内网安全之-NTLM协议详解_ntlmssp
- 4ICCV 2023 | 刷新十三个暗光增强榜单！清华Ð提出Retinexformer：低光照图像增强新网络...
- 5Python类的构造方法__init__(self)和析构函数__del__详解_使用python定义一个类定义一个实力参数,需要在-init-方法中添加它,也可以使用构造
- 6Altium Designer实现原理图到PCB板的转换_ad如何将原理图转化为pcb
- 7Git系列：git restore 高效恢复代码的技巧与实践
- 8Transformer教程之循环神经网络（RNN）和长短期记忆网络（LSTM）
- 9【java】【maven】【基础】MAVEN安装配置介绍_maven配置文件
- 10ELK本地虚拟机部署（8.12版本）_logstash8.12 配置文件
当前位置: article > 正文
（笔记）通过知识蒸馏和量化进行模型压缩MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION_将量化和知识蒸馏结合的方法
作者：你好赵伟 | 2024-06-17 15:40:51
赞
踩
将量化和知识蒸馏结合的方法
（笔记）Model Compression via Distillation and Quantization
原文链接：
https://arxiv.org/abs/1802.05668
代码：
https://github.com/antspy/quantized_distillation
摘要
主要介绍了两种算法。
1）加入知识蒸馏loss的量化训练。
2）训练量化集p。
算法一：加入知识蒸馏loss的量化训练
有一个浮点模型w，一个量化模型w^q，用量化模型计算前向loss（加上知识蒸馏的loss），对w^q计算梯度，用以更新浮点模型。每次前向计算之前用更新的浮点模型更新量化模型。
算法二：训练量化集p
推荐阅读
相关标签
