← 返回卡片

原书出处

深度学习详解

17 网络压缩 17.3 参数量化

核验版本的摘录快照 · 导入于 2026-11-21T12:46:32.561Z

参数量化(parameter quantization)旨在用比较少的空间来存储一个参数.举个例子,假设在保存一个参数的时候用了 64 位或 32 位,但实际上可能不需要这么高的精度, 16位或8 位 就够了.参数量化最简单的做法就是,本来用 16 位保存一个数值,现在改用 8 位保存一个数值.存储空间和网络的大小直接变成原来的一半,而且性能不会下降很多,甚至有时候把存储参数的精度变低,性能还会稍微好一点.还有一种更进一步压缩参数的方法,叫作权重聚类(weight clustering).举个例子,如图17.8 所示,先对网络的参数做聚类,按照参数的值来分组,将值接近的参数放在一个组,再将每个组内的参数都取相同的数.比如黄色的组内所有参数的平均值是 ,则用 来代表所有黄色的参数.在存储参数时,只需要记两个内容:一个是表格,这个表格记录了每一个组的代表数值是多少;另一个就是每一个参数属于哪个组.将组的数量设少一点,比如4个组,这样只需要2位就可以保存一个参数属于哪个组了.

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/深度学习详解/_epub-src/OEBPS/Text/Chapter17.xhtml

EPUB SHA-256:35d2d4b7de742e0ce7756e7fb57c534014bf33cecdf0483a75e23cb7446cb7dc