知识卡片

普通读书笔记卡 · 9854.l · 生成模型:Hunyuan

自注意力计算步骤

理解等级:中级

自注意力把一句话中每个词都当作查询,计算它与句内所有词的关系:先由带时序信息的嵌入生成q、k、v,再用q·k打分并除以根号dk稳定梯度,Softmax归一化后与v相乘求和得到z。与一般注意力的唯一区别在于Query来源:一般注意力Query来自目标句,自注意力Query来自源句自身。每个词的输出都汇聚了全句信息,而计算可以完全并行。这就是自注意力的含义,即自己关注自己。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      1)把输入单词转换为带时间(或时序)信息的嵌入向量。 2)根据嵌入向量生成q、k、v三个向量,这三个向量分别表示query、key、value。 3)根据q,计算每个单词点积后的得分:score=q·k。 4)对score进行规范化、Softmax处理,假设结果为a。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0003.xhtml) - 结论依据:原文列出Encoder自注意力的五个计算步骤,并说明一般注意力query来自目标语句、自注意力query来自源语句本身。 - 原始内容:1)把输入单词转换为带时间(或时序)信息的嵌入向量。 2)根据嵌入向量生成q、k、v三个向量,这三个向量分别表示query、key、value。 3)根据q,计算每个单词点积后的得分:score=q·k。 4)对score进行规范化、Softmax处理,假设结果为a。