原书出处
大语言模型-基础与前沿 (熊涛)
03 第3章 Transformer
递到下一层的基线方法idl(红色)相比(图片来源:Din et al,2023) l′,l→l′→l′ 3.7.3 修剪
修剪是一种缩小神经网络规模的技术,以使它们比大型模型更快、更小、更容易泛化。这是通过去除显著性低的权重来实现的,这些权重对损失函数几乎没有影响,可能被认为是多余的。
此过程可能需要也可能不需要再训练,可以是非结构化的,也可以是结构化的。 修剪方法可分为结构化和非结构化两种。前者涉及去除
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d