← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9549.e · 生成模型:DeepSeek-V4.1-Flash

无卷积的全局建模

理解等级:中级

ViT 的核心主张是把图像当作序列,用纯注意力替代卷积。卷积网络把局部性与平移等变性直接写进结构:小卷积核只看邻域,靠层级堆叠逐步扩大可及范围。ViT 不做这个假设,块与块之间的关系完全由数据学出来,空间位置只通过位置编码注入。好处是架构与处理文本的 Transformer 同构,一套组件可以跨模态复用,全局依赖也不必再靠层数换取;代价是模型失去了卷积自带的先验,图像的空间结构必须显式补回,块边界又被硬性切断,跨块连续的物体只能靠注意力重新缝合。因此“去掉卷积”不是免费的简化,而是一次归纳偏置的替换,见[[图像切块成序列]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • ViT模型 · 查看原书依据

      ViT模型通过将传统Transformer应用于图像任务中,实现了对图像的序列化处理,避免了卷积操作。本节将深入分析ViT模型的核心架构,阐明其独特的基础结构与自注意力机制在图像处理中的应用。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0002.xhtml) - 结论依据:原文指出 ViT 把 Transformer 用于图像任务、实现序列化处理并避免卷积,本节随后围绕基础结构与注意力在图像上的应用展开。 - 原始内容:ViT模型通过将传统Transformer应用于图像任务中,实现了对图像的序列化处理,避免了卷积操作。本节将深入分析ViT模型的核心架构,阐明其独特的基础结构与自注意力机制在图像处理中的应用。