知识卡片
图像切块成序列
ViT 的第一步是把二维图像翻译成 Transformer 能处理的序列。做法是:把高宽为 H×W 的图像切成互不重叠的 P×P 小块,每块展平成一维向量,长度由块内像素数与通道数决定;再用一个可学习的线性投影把每个向量映射到统一的嵌入维度;然后在序列最前面拼一个分类标识符,并为所有位置加上位置编码;最终得到长度为“块数加一”、维度统一的序列,送入编码器堆叠。块的划分方式决定序列长度:块越大,块数越少,序列越短,注意力计算越省,但每块内的细节被压得更狠;块越小则相反。图像因此被当作“由像素块组成的句子”处理,二维空间关系由位置编码显式补回,见[[卷积核完成分块嵌入]]。
结构图:
graph TD
A[输入图像] --> B[切成不重叠小块]
B --> C[每块展平为一维向量]
C --> D[线性投影成嵌入]
D --> E[拼接CLS与位置编码]
E --> F[Transformer编码器]
F --> G[分类头输出类别分]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- ViT模型 · 查看原书依据
在ViT模型中,图像分块与嵌入是适配Transformer结构的核心步骤。传统卷积神经网络直接在二维图像上应用卷积核提取特征,而ViT模型则先将图像划分为多个固定大小的小块,并将每个小块转换为向量表示,再通过嵌入层输入Transformer中。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0001.xhtml)
- 结论依据:原文比较卷积网络与 ViT 的输入方式,说明 ViT 先划分固定大小小块、再转为向量经嵌入层输入 Transformer。
- 原始内容:在ViT模型中,图像分块与嵌入是适配Transformer结构的核心步骤。传统卷积神经网络直接在二维图像上应用卷积核提取特征,而ViT模型则先将图像划分为多个固定大小的小块,并将每个小块转换为向量表示,再通过嵌入层输入Transformer中。