知识卡片
ViT延续编解码骨架
ViT 并不是为视觉另造一套网络,而是把 Transformer 原样搬到图像上:线性嵌入把输入映射到统一维度,编码器堆叠负责特征提取,分类头负责输出,差别只在输入从词序列换成了图像块序列。原文明确指出 ViT 本质上仍基于编码器—解码器架构,并提示回看线性嵌入与编解码结构;它举出的 Swin Transformer 同样是由归一化与前馈结构堆叠而成的变体,只是把注意力限制在窗口内。把 ViT 放回这条脉络,就能用同一套语言描述文本与图像模型:嵌入、位置、注意力、堆叠、头部五个部件各司其职。学习新变体时,只需问它改了哪一件,见[[图像切块成序列]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- ViT模型 · 查看原书依据
此输出形状对应于分类任务的10个类别得分,展示了ViT模型在图像处理中的自注意力应用。事实上,ViT本质上也是基于编码器—解码器架构的,读者可以结合第1章内容再次深度理解线性嵌入和Transformer编码器—解码器结构,如图4-5所示。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0002.xhtml)
- 结论依据:原文指出 ViT 本质上基于编码器—解码器架构,建议结合前章理解线性嵌入,并说明 Swin 模块本质上是同类编解码结构。
- 原始内容:此输出形状对应于分类任务的10个类别得分,展示了ViT模型在图像处理中的自注意力应用。事实上,ViT本质上也是基于编码器—解码器架构的,读者可以结合第1章内容再次深度理解线性嵌入和Transformer编码器—解码器结构,如图4-5所示。