知识卡片
QKV按需求取信息
查询Q表示当前的信息需求,键K提供与各前序位置匹配的线索,值V承载对应内容。注意力根据Q与K的匹配分数,经缩放、掩码及softmax等处理形成权重,再加权组合V。K不是字面页码,图书比喻只帮助理解索引与内容的分工。
结构图:
flowchart TD
A[当前查询Q] --> C[与键K计算匹配]
B[前序位置的键K] --> C
C --> D[缩放 掩码和softmax]
D --> E[注意力权重]
F[对应内容的值V] --> G[加权组合]
E --> G
G --> H[供后续层使用的表示]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 理解基础模型
原书出处 · 1 处
- · 查看原书依据
注意力机制通过计算查询向量与键向量之间的点积,来确定对输入token分配多少注意力。得分越高,意味着模型在生成图书摘要时会更多地使用该页的内容(其值向量)。图2-5展示了注意力机制中查询向量、键向量和值向量的可视化示例。在该示例中,查询向量正从前序t
参考来源
- 位置:《AI工程:大模型应用开发实战》第2章《理解基础模型》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section010.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:注意力机制通过计算查询向量与键向量之间的点积,来确定对输入token分配多少注意力。得分越高,意味着模型在生成图书摘要时会更多地使用该页的内容(其值向量)。图2-5展示了注意力机制中查询向量、键向量和值向量的可视化示例。在该示例中,查询向量正从前序t