知识卡片
量化用精度换取存储和计算效率
参数量化用较低位宽表示权重,或将权重聚类后存储码本及索引,从而减少模型存储。压缩效果要计入码本、尺度与索引开销,精度和运行速度也依赖量化误差、算子支持与硬件;可在训练中考虑量化以缓解误差。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 网络压缩 17.3 参数量化 · 查看原书依据
参数量化(parameter quantization)旨在用比较少的空间来存储一个参数.举个例子,假设在保存一个参数的时候用了 64 位或 32 位,但实际上可能不需要这么高的精度, 16位或8 位 就够了.参数量化最简单的做法就是,本来用 16 位保存一个数值,现在改用 8 位保存一个数值.存储空间和网络的大小直接变成原来的一半,而且性能不会下降很多,甚至有时候把存储参数的精度变低,性能还会稍微好一点.还有一种更进一步压缩参数的方法,叫作权重聚类(weight clustering).举个例子,如图17.8 所示,先对网络的参数做聚类,按照参数的值来分组,将值接近的参数放在一个组,再将每个组内的参数都取相同的数.比如黄色的组内所有参数的平均值是 ,则用 来代表所有黄色的参数.在存储参数时,只需要记两个内容:一个是表格,这个表格记录了每一个组的代表数值是多少;另一个就是每一个参数属于哪个组.将组的数量设少一点,比如4个组,这样只需要2位就可以保存一个参数属于哪个组了.
参考来源
- 位置:《深度学习详解》第17章《网络压缩》17.3 参数量化(来源项目 book-source:`extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter17.xhtml`)
- 结论依据:原文和图示解释稀疏实现、教师学生、量化、分离卷积和动态计算。
- 原始内容:参数量化(parameter quantization)旨在用比较少的空间来存储一个参数.举个例子,假设在保存一个参数的时候用了 64 位或 32 位,但实际上可能不需要这么高的精度, 16位或8 位 就够了.参数量化最简单的做法就是,本来用 16 位保存一个数值,现在改用 8 位保存一个数值.存储空间和网络的大小直接变成原来的一半,而且性能不会下降很多,甚至有时候把存储参数的精度变低,性能还会稍微好一点.还有一种更进一步压缩参数的方法,叫作权重聚类(weight clustering).举个例子,如图17.8 所示,先对网络的参数做聚类,按照参数的值来分组,将值接近的参数放在一个组,再将每个组内的参数都取相同的数.比如黄色的组内所有参数的平均值是 ,则用 来代表所有黄色的参数.在存储参数时,只需要记两个内容:一个是表格,这个表格记录了每一个组的代表数值是多少;另一个就是每一个参数属于哪个组.将组的数量设少一点,比如4个组,这样只需要2位就可以保存一个参数属于哪个组了.