知识卡片
多头注意力分视角组合
多头注意力把Q、K、V划分成多个较小子空间,分别计算关注结果,再拼接并投影。原书例子用4096维、32个头得到每头128维,说明分解方法而非要求所有模型如此配置。多个视角共同形成输出,不能把头数直接当作知识数量。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 理解基础模型
原书出处 · 1 处
- · 查看原书依据
多个注意力头允许模型同时关注前序token的不同部分。在多头注意力中,查询向量、键向量和值向量会被拆分成更小的子向量,每个子向量对应一个注意力头。例如在Llama 2-7B模型中,由于它有32个注意力头,每个K、V、Q向量都会被拆分成32个维度为12
参考来源
- 位置:《AI工程:大模型应用开发实战》第2章《理解基础模型》(来源项目:a19c7933-4eda-4176-aebd-30fe7e1ad292;源文件:extracted/AI工程:大模型应用开发实战/_epub-src/EPUB/xhtml/Section010.xhtml)
- 结论依据:原文定义、条件、机制或比较支持上述说明,案例数据限于原书语境。
- 原始内容:多个注意力头允许模型同时关注前序token的不同部分。在多头注意力中,查询向量、键向量和值向量会被拆分成更小的子向量,每个子向量对应一个注意力头。例如在Llama 2-7B模型中,由于它有32个注意力头,每个K、V、Q向量都会被拆分成32个维度为12