← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9854.a · 生成模型:Hunyuan

软硬注意力之分

理解等级:中级

按注意力的覆盖范围可分为软注意力与硬注意力。软注意力对所有key计算权重概率,参考全部信息后加权求和,属于全局注意力,计算较理性但开销较大,且可微、易于用梯度下降训练。硬注意力则直接选中某一个key,概率为1其余为0,对齐要求高且不可微,常需借助采样等方法估计梯度。二者的取舍本质是”全局平滑但昂贵”与”稀疏精准但难训练”之间的权衡。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      根据注意力范围的不同,人们又把注意力分为软注意力和硬注意力。 1)软注意力(Soft Attention)。这是比较常见的注意力机制,对所有key求权重概率,每个key都有一个对应的权重,是一种全局的计算方式(也叫作Global Attention)。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0001.xhtml) - 结论依据:原文按注意力范围划分软硬两类,说明软注意力"对所有key求权重概率"是全局计算,硬注意力"直接精准定位到某个key"。 - 原始内容:根据注意力范围的不同,人们又把注意力分为软注意力和硬注意力。 1)软注意力(Soft Attention)。这是比较常见的注意力机制,对所有key求权重概率,每个key都有一个对应的权重,是一种全局的计算方式(也叫作Global Attention)。