知识卡片

结构图卡 · 9549 · 生成模型:DeepSeek-V4.1-Flash

图像切块成序列

理解等级:初级

ViT 的第一步是把二维图像翻译成 Transformer 能处理的序列。做法是:把高宽为 H×W 的图像切成互不重叠的 P×P 小块,每块展平成一维向量,长度由块内像素数与通道数决定;再用一个可学习的线性投影把每个向量映射到统一的嵌入维度;然后在序列最前面拼一个分类标识符,并为所有位置加上位置编码;最终得到长度为“块数加一”、维度统一的序列,送入编码器堆叠。块的划分方式决定序列长度:块越大,块数越少,序列越短,注意力计算越省,但每块内的细节被压得更狠;块越小则相反。图像因此被当作“由像素块组成的句子”处理,二维空间关系由位置编码显式补回,见[[卷积核完成分块嵌入]]。

结构图:

graph TD
  A[输入图像] --> B[切成不重叠小块]
  B --> C[每块展平为一维向量]
  C --> D[线性投影成嵌入]
  D --> E[拼接CLS与位置编码]
  E --> F[Transformer编码器]
  F --> G[分类头输出类别分]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • ViT模型 · 查看原书依据

      在ViT模型中,图像分块与嵌入是适配Transformer结构的核心步骤。传统卷积神经网络直接在二维图像上应用卷积核提取特征,而ViT模型则先将图像划分为多个固定大小的小块,并将每个小块转换为向量表示,再通过嵌入层输入Transformer中。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0001.xhtml) - 结论依据:原文比较卷积网络与 ViT 的输入方式,说明 ViT 先划分固定大小小块、再转为向量经嵌入层输入 Transformer。 - 原始内容:在ViT模型中,图像分块与嵌入是适配Transformer结构的核心步骤。传统卷积神经网络直接在二维图像上应用卷积核提取特征,而ViT模型则先将图像划分为多个固定大小的小块,并将每个小块转换为向量表示,再通过嵌入层输入Transformer中。