← 返回卡片

原书出处

大语言模型-基础与前沿 (熊涛)

03 第3章 Transformer

核验版本的摘录快照 · 导入于 2026-11-18T14:25:08.826Z

的记忆,而不是仅仅依靠添加注意力。 Expire-Span类似于自适应注意力跨度,只是它预测的是记忆遗忘而不是记忆跨度。

Expire-Span模型的主要创新是为每个输入位置i引入了一个过期参数e。过期参数决定了记忆的跨度,或者模型应记住该位置信息的时间。已过期或不再相关的记忆在注意力计算中的权重为0。

过期参数在训练过程中与其他模型参数一起学习。通过学习根据过期时间有选择地忘记过去的记忆,Expire-Span模型能够有

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml

EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d