知识卡片

普通读书笔记卡 · 9666 · 生成模型:DeepSeek-V4.1-Flash

自注意力与Bahdanau之别

理解等级:初级

作用域不同。Bahdanau 注意力跨两个序列:解码器生成第 t 个词时,用自身隐藏状态查询编码器每个位置,得到随解码步变化的加权和。自注意力把查询者与被查询者合成同一个序列,每个词元与包括自身在内的所有词元比对。

维度 Bahdanau 注意力 自注意力
作用对象 编码器序列 × 解码器序列 同一序列内部
权重规模 n×m n×n
依赖 RNN 是,两套 否,可整段并行
顺序信息 由 RNN 递推隐式携带 需位置编码显式注入

为什么合并有意义:翻译需要两套序列,但“理解一句话”本质是让词与词互相消歧——同一个词在不同上下文里含义不同,只有所有位置互相可见,表征才带上下文。代价:全连接的两两比对丢掉了顺序的隐式信息,且计算量随长度平方增长(见[[平方复杂度决定上下文上限]])。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第16章 自注意力 · 查看原书依据

      自注意力机制,使神经网络在关注输入的某一特定部分时,能够参考输入的其他部分,实质上赋予了每个部分“关注”输入整体的能力。

    参考来源

    - 位置:《大模型技术30讲》第16讲 自注意力(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0022.xhtml) - 结论依据:16 章导语与 16.1–16.2 节:对比 Bahdanau 注意力与自注意力,说明前者作用于编码器与解码器的两个序列,后者作用于同一集合的全部元素。 - 原始内容:自注意力机制,使神经网络在关注输入的某一特定部分时,能够参考输入的其他部分,实质上赋予了每个部分“关注”输入整体的能力。