知识卡片

普通读书笔记卡 · 9549.d · 生成模型:DeepSeek-V4.1-Flash

多头并行多角度特征

理解等级:中级

多头注意力把一次注意力拆成若干组并行计算。输入被投影到多个低维子空间,每组各自算一套查询、键、值,得到各自的权重分布与输出,最后把所有头的输出拼接,再线性变换回原维度。这样做的理由是:单一权重分布只能表达一种“相关性”,而图像中同时存在颜色、边缘、纹理、部件等多种线索,不同头可以在不同子空间里各自聚焦,有的头关注相邻块的连续性,有的头关注同色区域,有的头关注物体轮廓。原文把这种机制比作从不同角度观察同一幅图,以保证获取全面信息。头数增加带来更多视角,同时也增加计算与参数;每个头的维度通常相应减小,使总开销大致可控,见[[自注意力捕捉区域关联]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • ViT模型 · 查看原书依据

      此外,ViT不是只进行一次注意力计算,而是用“多头”注意力机制来重复多个不同角度的关注。这类似于从不同的角度去观察同一幅图像,以确保获取全面的信息。多个注意力头会学习到不同的关注模式,例如颜色、边缘、纹理等。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0004.xhtml) - 结论依据:原文强调 ViT 不是只做一次注意力,而是用多头机制从多个角度关注,并指出不同头会学到颜色、边缘、纹理等不同模式。 - 原始内容:此外,ViT不是只进行一次注意力计算,而是用“多头”注意力机制来重复多个不同角度的关注。这类似于从不同的角度去观察同一幅图像,以确保获取全面的信息。多个注意力头会学习到不同的关注模式,例如颜色、边缘、纹理等。