知识卡片
缩放点积注意力
缩放点积注意力用查询与键的点积除以键向量维度的平方根,再归一化得到权重。缩放有助于控制高维点积的尺度,减少 softmax 饱和风险;权重仍依赖查询和键的具体数值,不是只由维度决定。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
- · 第7章 深度学习
原书出处 · 1 处
- 深度学习 · 查看原书依据
缩放点积注意力机制引入了一个缩放因子
参考来源
- 位置:《现代人工智能技术》第7章《深度学习》(来源项目:book-source;源文件:extracted/现代人工智能技术/_epub-src/EPUB/xhtml/chapter9.xhtml)
- 结论依据:原文介绍以维度为缩放因子的点积注意力;修正权重与向量值无关的表述。
- 原始内容:缩放点积注意力机制引入了一个缩放因子