← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9663.b · 生成模型:DeepSeek-V4.1-Flash

平移等变与平移不变

理解等级:高级

两者描述输入位移时输出的行为。平移不变:f(T(x)) = f(x),输入平移后输出完全不变,分类标签不变。平移等变:f(T(x)) = T(f(x)),输入平移多少,输出特征也相应平移多少。

用途:区分这两个词才能准确描述卷积层的能力。卷积加池化给的是等变性,要靠池化、尤其是全局池化把位置信息丢弃,才得到近似的不变性;这也是 CNN 能在图像任意位置检测同一物体的机制。

边界:等变性只对平移成立,旋转、缩放、形变都不在其列,需要额外设计或数据增强来补。ViT 两者都不内置:同一物体放在不同位置会得到不同输出,模型必须从数据中学习“位置不该改变语义”,这也是它需要更大预训练集的一环。相对位置嵌入只帮它跟踪词元间的相对距离,替代不了这种学习。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第13讲 ViT架构所需的大型训练集(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0018.xhtml) - 结论依据:第13章 13.1 后半段关于平移不变性、平移等变性与图13-2、13-3 的讨论 - 原始内容:平移不变性意味着输出在输入发生位移时不会改变,而平移等变性则意味着输出会随着输入以相应的方式发生位移。