知识卡片
注意力计算架构
结构图展示Query、Key、Value三条通路如何汇合:Source提供Key与Value,Target提供Query;Query与Key经相似度与Softmax生成权重,权重再与Value做加权和得到Attention。图中Key只参与权重计算,Value只贡献最终内容,Query决定当前关注点,这种分离是理解自注意力与交叉注意力差异的关键。该架构可复用于翻译对齐、阅读理解和推荐等需要动态聚焦的场景。
结构图:
classDiagram
class Source {
+List~Key~ keys
+List~Value~ values
}
class Query {
+Vector target
}
class Similarity {
+score(q, k)
}
class Softmax {
+normalize(scores)
}
class WeightedSum {
+combine(weights, values)
}
class Attention {
+Vector output
}
Query --> Similarity : query
Source --> Similarity : keys
Similarity --> Softmax : raw scores
Softmax --> WeightedSum : weights
Source --> WeightedSum : values
WeightedSum --> Attention : result
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 注意力机制 · 查看原书依据
在图5-1中,Source由一系列的<Key,Value>数据对构成,对给定Target中的某个元素Query,通过计算Query和各个Key的相似性或者相关性,得到每个Key对应Value的权重系数,然后对Value进行加权求和,得到最终的Attention数值。
参考来源
- 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0001.xhtml)
- 结论依据:原文以图5-1描述Source的〈Key,Value〉对与Target的Query如何计算权重并对Value加权求和,并给出三阶段计算流程。
- 原始内容:在图5-1中,Source由一系列的<Key,Value>数据对构成,对给定Target中的某个元素Query,通过计算Query和各个Key的相似性或者相关性,得到每个Key对应Value的权重系数,然后对Value进行加权求和,得到最终的Attention数值。