知识卡片

普通读书笔记卡 · 9854.c · 生成模型:Hunyuan

注意力计算三阶段

理解等级:中级

标准注意力计算分三步:先算相似度,再归一化,最后加权求和。第一阶段用点积、Cosine或额外神经网络得到Query与每个Key的相似值si;第二阶段用Softmax把si转成和为1的权重ai;第三阶段用ai对对应Value加权求和得到输出。这套流程把”相关性”转化为可解释的概率分配,且全程可微,能作为一层嵌入任意模型。不同注意力变体的差异主要集中在第一阶段打分函数的设计上。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      整个注意力机制的计算过程可分为3个阶段。 第1阶段:根据Query和Key计算两者的相似性或者相关性,最常见的计算方法包括求两者的向量点积、求两者的向量Cosine相似性或者通过再引入额外的神经网络来求,假设求得的相似值为si。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0001.xhtml) - 结论依据:原文把计算过程明确划分为3个阶段,并分别给出点积/Cosine/神经网络打分、Softmax归一化、加权求和三种操作。 - 原始内容:整个注意力机制的计算过程可分为3个阶段。 第1阶段:根据Query和Key计算两者的相似性或者相关性,最常见的计算方法包括求两者的向量点积、求两者的向量Cosine相似性或者通过再引入额外的神经网络来求,假设求得的相似值为si。