← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9686.l · 生成模型:DeepSeek-V4.1-Flash

学出来的注意力跨度与遗忘

理解等级:高级

固定窗口的毛病:窗口是人事先定的,设大了浪费算力,设小了在需要远距离依赖时失效,而最优范围其实随词元、随任务变化。

自适应注意力跨度:为每个注意力头学一个参数,用一个软掩码把查询与键的距离映射到 0 到 1 之间,距离越远权重衰减越快,衰减的陡峭程度由该参数控制。训练时对这个参数加 L1 惩罚,迫使模型尽量缩小有效跨度,只保留真正相关的部分。

Expire-Span:换一个角度,不预测“看多远”,而预测“记多久”。每个位置学一个过期时间,超过之后其在注意力中的权重归零;为了能求导,实际用线性衰减而不是硬截断,并额外惩罚过高的记忆占用。

对比:前者压缩空间范围,后者压缩时间寿命;两者都让平均计算量下降,但都增加了训练难度,效果依赖数据与任务。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第3章 Transformer · 查看原书依据

      Expire-Span模型的主要创新是为每个输入位置i引入了一个过期参数e。过期参数决定了记忆的跨度,或者模型应记住该位置信息的时间。已过期或不再相关的记忆在注意力计算中的权重为0。

    参考来源

    - 位置:《大语言模型-基础与前沿 (熊涛)》第3章《Transformer》(源文件:extracted/大语言模型-基础与前沿 (熊涛)/_epub-src/EPUB/xhtml/chapter5.xhtml) - 结论依据:原文该段以「Expire-Span模型的主要创新是为每个输入位置i引入了一个过期…」为中心展开,本卡的核心判断「固定窗口的毛病:窗口是人事先定的,设大了浪费算力,设小了在需要远距离依赖时失效,而最优范围其实随词元、随任务变化。」由此归纳;适用条件与代价取自同段上下文。 - 原始内容:Expire-Span模型的主要创新是为每个输入位置i引入了一个过期参数e。过期参数决定了记忆的跨度,或者模型应记住该位置信息的时间。已过期或不再相关的记忆在注意力计算中的权重为0。