知识卡片

结构图卡 · 6480.i.2.b · 生成模型:GPT-6

QKV按需求取信息

理解等级:中级

查询Q表示当前的信息需求,键K提供与各前序位置匹配的线索,值V承载对应内容。注意力根据Q与K的匹配分数,经缩放、掩码及softmax等处理形成权重,再加权组合V。K不是字面页码,图书比喻只帮助理解索引与内容的分工。

结构图:

flowchart TD
 A[当前查询Q] --> C[与键K计算匹配]
 B[前序位置的键K] --> C
 C --> D[缩放 掩码和softmax]
 D --> E[注意力权重]
 F[对应内容的值V] --> G[加权组合]
 E --> G
 G --> H[供后续层使用的表示]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • · 查看原书依据

      注意力机制通过计算查询向量与键向量之间的点积,来确定对输入token分配多少注意力。得分越高,意味着模型在生成图书摘要时会更多地使用该页的内容(其值向量)。图2-5展示了注意力机制中查询向量、键向量和值向量的可视化示例。在该示例中,查询向量正从前序t

    参考来源

    - 位置:《AI工程:大模型应用开发实战》第2章《理解基础模型》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section010.xhtml) - 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。 - 原始内容:注意力机制通过计算查询向量与键向量之间的点积,来确定对输入token分配多少注意力。得分越高,意味着模型在生成图书摘要时会更多地使用该页的内容(其值向量)。图2-5展示了注意力机制中查询向量、键向量和值向量的可视化示例。在该示例中,查询向量正从前序t