知识卡片
ViT为何依赖超大数据集
ViT 主要由多头注意力构成,没有卷积的局部连接与权值共享,因此缺少“位置不该改变语义”这一先验。同一个物体放在图像不同位置,模型会给出不同表示,它必须从数据里把不变性、局部相关性这些概念学出来;而凡是需要学的东西都要用样本付费,于是形成对大规模预训练数据的依赖。
书中给出的经验证据:ResNet 与原始 ViT 在不同规模数据上预训练对比,ViT 要在一亿张以上图片上预训练后才在性能上超过卷积方法;数据不足时不如同量级 CNN。
代价与边界:ViT 参数通常更多、训练更贵;相对位置嵌入只能帮它跟踪词元相对距离,不能替代从数据学到的空间相关性。反过来,数据充足时全局注意力能捕捉长程关系,性能可以反超;实践中也常把卷积偏置加回 ViT 以降低数据需求。
结构图:
flowchart LR
A[ViT 缺少局部与权值共享偏置] --> B[同一物体换位置输出改变]
B --> C[必须从数据学不变性]
C --> D[需要海量预训练数据]
D --> E[一亿张以上才超越CNN]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第13章 ViT架构所需的大型训练集 · 查看原书依据
该论文对比了ResNet(一种卷积网络)与原始ViT架构在使用不同规模的数据集进行预训练时的表现。研究结果表明,仅当ViT模型在至少一亿张图片上进行预训练后,其性能才超过了卷积方法。
参考来源
- 位置:《大模型技术30讲》第13讲 ViT架构所需的大型训练集(源文件:extracted/大模型技术30讲/_epub-src/EPUB/xhtml/chapter01_0018.xhtml)
- 结论依据:第13章 13.1 末段、13.2 与 13.4 小结,含 Dosovitskiy 等论文的对比结论
- 原始内容:该论文对比了ResNet(一种卷积网络)与原始ViT架构在使用不同规模的数据集进行预训练时的表现。研究结果表明,仅当ViT模型在至少一亿张图片上进行预训练后,其性能才超过了卷积方法。