知识卡片

结构图卡 · 9854.d · 生成模型:Hunyuan

注意力计算架构

理解等级:中级

结构图展示Query、Key、Value三条通路如何汇合:Source提供Key与Value,Target提供Query;Query与Key经相似度与Softmax生成权重,权重再与Value做加权和得到Attention。图中Key只参与权重计算,Value只贡献最终内容,Query决定当前关注点,这种分离是理解自注意力与交叉注意力差异的关键。该架构可复用于翻译对齐、阅读理解和推荐等需要动态聚焦的场景。

结构图:

classDiagram
    class Source {
        +List~Key~ keys
        +List~Value~ values
    }
    class Query {
        +Vector target
    }
    class Similarity {
        +score(q, k)
    }
    class Softmax {
        +normalize(scores)
    }
    class WeightedSum {
        +combine(weights, values)
    }
    class Attention {
        +Vector output
    }
    Query --> Similarity : query
    Source --> Similarity : keys
    Similarity --> Softmax : raw scores
    Softmax --> WeightedSum : weights
    Source --> WeightedSum : values
    WeightedSum --> Attention : result
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 第5章 注意力机制 · 查看原书依据

      在图5-1中,Source由一系列的<Key,Value>数据对构成,对给定Target中的某个元素Query,通过计算Query和各个Key的相似性或者相关性,得到每个Key对应Value的权重系数,然后对Value进行加权求和,得到最终的Attention数值。

    参考来源

    - 位置:《深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)》第5章 注意力机制(源文件:extracted/深入浅出Embedding:原理解析与应用实践 (吴茂贵, 王红星)/_epub-src/OEBPS/Text/Chapter8_0001.xhtml) - 结论依据:原文以图5-1描述Source的〈Key,Value〉对与Target的Query如何计算权重并对Value加权求和,并给出三阶段计算流程。 - 原始内容:在图5-1中,Source由一系列的<Key,Value>数据对构成,对给定Target中的某个元素Query,通过计算Query和各个Key的相似性或者相关性,得到每个Key对应Value的权重系数,然后对Value进行加权求和,得到最终的Attention数值。