← 返回刚才阅读的位置

知识卡片

结构图卡 · 9663.c · 生成模型:DeepSeek-V4.1-Flash

ViT为何依赖超大数据集

理解等级:中级

ViT 主要由多头注意力构成,没有卷积的局部连接与权值共享,因此缺少“位置不该改变语义”这一先验。同一个物体放在图像不同位置,模型会给出不同表示,它必须从数据里把不变性、局部相关性这些概念学出来;而凡是需要学的东西都要用样本付费,于是形成对大规模预训练数据的依赖。

书中给出的经验证据:ResNet 与原始 ViT 在不同规模数据上预训练对比,ViT 要在一亿张以上图片上预训练后才在性能上超过卷积方法;数据不足时不如同量级 CNN。

代价与边界:ViT 参数通常更多、训练更贵;相对位置嵌入只能帮它跟踪词元相对距离,不能替代从数据学到的空间相关性。反过来,数据充足时全局注意力能捕捉长程关系,性能可以反超;实践中也常把卷积偏置加回 ViT 以降低数据需求。

结构图:

flowchart LR
  A[ViT 缺少局部与权值共享偏置] --> B[同一物体换位置输出改变]
  B --> C[必须从数据学不变性]
  C --> D[需要海量预训练数据]
  D --> E[一亿张以上才超越CNN]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大模型技术30讲》第13讲 ViT架构所需的大型训练集(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0018.xhtml) - 结论依据:第13章 13.1 末段、13.2 与 13.4 小结,含 Dosovitskiy 等论文的对比结论 - 原始内容:该论文对比了ResNet(一种卷积网络)与原始ViT架构在使用不同规模的数据集进行预训练时的表现。研究结果表明,仅当ViT模型在至少一亿张图片上进行预训练后,其性能才超过了卷积方法。