原书出处
大模型技术30讲
22 第22章 加速推理
引入量化步骤。这使得模型能够学习到补偿量化影响的能力,有助于保持模型的准确性。
然而,需要注意的是,量化有时会导致模型准确性降低。由于本章侧重于介绍在不牺牲准确性的情况下加速模型推理的技术,因此相比于前几类技术,量化可能不是本章最贴切的主题。
注意 其他提升推理速度的技术包括知识蒸馏和剪枝,这些在第6章中讨论过。但是,这
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0029.xhtml
EPUB SHA-256:aed12db0b1b08a8757496d8d12796b8829fa2546eb77ccf47b557e4abbb6a0ec