← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

03 第3章 Transformer

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.827Z

递到下一层的基线方法idl(红色)相比(图片来源:Din et al,2023) l′,l→l′→l′ 3.7.3 修剪

修剪是一种缩小神经网络规模的技术,以使它们比大型模型更快、更小、更容易泛化。这是通过去除显著性低的权重来实现的,这些权重对损失函数几乎没有影响,可能被认为是多余的。

此过程可能需要也可能不需要再训练,可以是非结构化的,也可以是结构化的。 修剪方法可分为结构化和非结构化两种。前者涉及去除

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d