知识卡片
自注意力捕捉区域关联
自注意力让每个图像块与序列中所有其他块直接比较,一层之内就能建立跨区域关联。具体做法是每个块生成查询、键、值,用查询与全部键的点积衡量相关性,归一化后加权汇总所有值,于是每个块的表示都混入了与它相关的其他区域的信息。这与卷积形成对照:卷积核只看邻域,远距离关系要靠层层堆叠间接传递;自注意力一步到位,首层的可及范围就是全图。代价是计算量随块数呈平方增长,块越多越昂贵,分块粒度因此成为精度与开销之间的旋钮。对分类而言,这种全局关联让模型能把分散在不同位置的线索拼合起来,例如物体的两端、以及支撑判断的背景区域,见[[多头并行多角度特征]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- ViT模型 · 查看原书依据
在图像处理任务中,自注意力机制通过计算输入块间的关系,能够捕捉图像各部分的长距离依赖关系,而多头注意力则通过多个不同的投影空间提取不同的特征,使得模型在捕捉图像细节和全局信息上更加灵活。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0002.xhtml)
- 结论依据:原文指出自注意力通过计算输入块间关系捕捉图像各部分的长距离依赖,多头注意力则从多个投影空间提取不同特征。
- 原始内容:在图像处理任务中,自注意力机制通过计算输入块间的关系,能够捕捉图像各部分的长距离依赖关系,而多头注意力则通过多个不同的投影空间提取不同的特征,使得模型在捕捉图像细节和全局信息上更加灵活。