知识卡片
自注意力与Bahdanau之别
作用域不同。Bahdanau 注意力跨两个序列:解码器生成第 t 个词时,用自身隐藏状态查询编码器每个位置,得到随解码步变化的加权和。自注意力把查询者与被查询者合成同一个序列,每个词元与包括自身在内的所有词元比对。
| 维度 | Bahdanau 注意力 | 自注意力 |
|---|---|---|
| 作用对象 | 编码器序列 × 解码器序列 | 同一序列内部 |
| 权重规模 | n×m | n×n |
| 依赖 RNN | 是,两套 | 否,可整段并行 |
| 顺序信息 | 由 RNN 递推隐式携带 | 需位置编码显式注入 |
为什么合并有意义:翻译需要两套序列,但“理解一句话”本质是让词与词互相消歧——同一个词在不同上下文里含义不同,只有所有位置互相可见,表征才带上下文。代价:全连接的两两比对丢掉了顺序的隐式信息,且计算量随长度平方增长(见[[平方复杂度决定上下文上限]])。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第16章 自注意力 · 查看原书依据
自注意力机制,使神经网络在关注输入的某一特定部分时,能够参考输入的其他部分,实质上赋予了每个部分“关注”输入整体的能力。
参考来源
- 位置:《大模型技术30讲》第16讲 自注意力(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml)
- 结论依据:16 章导语与 16.1–16.2 节:对比 Bahdanau 注意力与自注意力,说明前者作用于编码器与解码器的两个序列,后者作用于同一集合的全部元素。
- 原始内容:自注意力机制,使神经网络在关注输入的某一特定部分时,能够参考输入的其他部分,实质上赋予了每个部分“关注”输入整体的能力。