知识卡片
无卷积的全局建模
ViT 的核心主张是把图像当作序列,用纯注意力替代卷积。卷积网络把局部性与平移等变性直接写进结构:小卷积核只看邻域,靠层级堆叠逐步扩大可及范围。ViT 不做这个假设,块与块之间的关系完全由数据学出来,空间位置只通过位置编码注入。好处是架构与处理文本的 Transformer 同构,一套组件可以跨模态复用,全局依赖也不必再靠层数换取;代价是模型失去了卷积自带的先验,图像的空间结构必须显式补回,块边界又被硬性切断,跨块连续的物体只能靠注意力重新缝合。因此“去掉卷积”不是免费的简化,而是一次归纳偏置的替换,见[[图像切块成序列]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- ViT模型 · 查看原书依据
ViT模型通过将传统Transformer应用于图像任务中,实现了对图像的序列化处理,避免了卷积操作。本节将深入分析ViT模型的核心架构,阐明其独特的基础结构与自注意力机制在图像处理中的应用。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0002.xhtml)
- 结论依据:原文指出 ViT 把 Transformer 用于图像任务、实现序列化处理并避免卷积,本节随后围绕基础结构与注意力在图像上的应用展开。
- 原始内容:ViT模型通过将传统Transformer应用于图像任务中,实现了对图像的序列化处理,避免了卷积操作。本节将深入分析ViT模型的核心架构,阐明其独特的基础结构与自注意力机制在图像处理中的应用。