知识卡片
CLS与位置编码补全输入
图像块被展平后,原本的二维位置信息就丢了:同样一组块,打乱顺序在集合意义上没有区别。ViT 用两样东西补回结构。一是位置编码,为序列中每个位置准备一个可学习的向量,与对应块的嵌入相加,使模型能区分“左上角的块”和“右下角的块”。二是分类标识符,它是一个额外的可学习向量,拼在序列首位,本身不对应任何图像区域,却在多层注意力中不断与所有块交换信息,最终承载整幅图的全局表示,被送入分类头。二者分工明确:位置编码回答“这块在哪里”,分类标识符回答“整张图是什么”。缺少位置编码,模型面对的是一袋无序的块;缺少这个标识符,就得另找方式把整个序列汇聚成一个向量,见[[分类头决定输出类别数]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- ViT模型 · 查看原书依据
在ViT模型中,图像被分块,每个块展平为一维向量,并通过线性投影层映射到固定的嵌入空间。同时,添加一个分类标识符(CLS token)用于最终分类,序列中各块位置通过位置编码传递给Transformer,从而保留图像的结构信息。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0002.xhtml)
- 结论依据:原文说明 ViT 把图像块展平后经线性投影映射入嵌入空间,并加入 CLS 标识符用于分类、加入位置编码以保留图像结构信息。
- 原始内容:在ViT模型中,图像被分块,每个块展平为一维向量,并通过线性投影层映射到固定的嵌入空间。同时,添加一个分类标识符(CLS token)用于最终分类,序列中各块位置通过位置编码传递给Transformer,从而保留图像的结构信息。