知识卡片
软硬注意力之分
按注意力的覆盖范围可分为软注意力与硬注意力。软注意力对所有key计算权重概率,参考全部信息后加权求和,属于全局注意力,计算较理性但开销较大,且可微、易于用梯度下降训练。硬注意力则直接选中某一个key,概率为1其余为0,对齐要求高且不可微,常需借助采样等方法估计梯度。二者的取舍本质是”全局平滑但昂贵”与”稀疏精准但难训练”之间的权衡。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
根据注意力范围的不同,人们又把注意力分为软注意力和硬注意力。 1)软注意力(Soft Attention)。这是比较常见的注意力机制,对所有key求权重概率,每个key都有一个对应的权重,是一种全局的计算方式(也叫作Global Attention)。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0001.xhtml)
- 结论依据:原文按注意力范围划分软硬两类,说明软注意力"对所有key求权重概率"是全局计算,硬注意力"直接精准定位到某个key"。
- 原始内容:根据注意力范围的不同,人们又把注意力分为软注意力和硬注意力。 1)软注意力(Soft Attention)。这是比较常见的注意力机制,对所有key求权重概率,每个key都有一个对应的权重,是一种全局的计算方式(也叫作Global Attention)。