原书出处
大语言模型-基础与前沿 (熊涛)
03 第3章 Transformer
的记忆,而不是仅仅依靠添加注意力。 Expire-Span类似于自适应注意力跨度,只是它预测的是记忆遗忘而不是记忆跨度。
Expire-Span模型的主要创新是为每个输入位置i引入了一个过期参数e。过期参数决定了记忆的跨度,或者模型应记住该位置信息的时间。已过期或不再相关的记忆在注意力计算中的权重为0。
过期参数在训练过程中与其他模型参数一起学习。通过学习根据过期时间有选择地忘记过去的记忆,Expire-Span模型能够有
原书定位详情
来源:a19c7933-4eda-4176-aebd-30fe7e1ad292
正文位置:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml
EPUB SHA-256:1bd3e387da1e881a4b6e0214f2c7df6e30d5cdbd1f602c69fc88edacffe6743d