知识卡片
分类头决定输出类别数
ViT 的输出来自分类头,而分类头的宽度由任务类别数决定。编码器处理完序列后,取出分类标识符位置的向量作为整幅图的全局表示,送入一个多层感知机头,映射成每个类别的打分。原文的完整模型在 ImageNet 设定下输出形状为 [1, 1000],即一张图对应一千个类别的分数;改用本地图片、类别数改为十时,同一套结构输出 [1, 10]。可见 1000 与 10 不是编码器的固定属性,而是最后那层线性映射的输出宽度。推理时对这些分数取最大值,就得到预测类别。理解这一点,才能把在大型数据集上预训练的 ViT 迁移到类别数不同的自有任务上,只需替换分类头,见[[CLS与位置编码补全输入]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- ViT模型 · 查看原书依据
(3)VisionTransformer:构建ViT的整体结构,首先通过PatchEmbedding生成嵌入,然后经过多个TransformerBlock层提取深层特征,最后将分类标识符作为全局特征输入MLP头,实现图像分类。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0001.xhtml)
- 结论依据:原文解析 VisionTransformer 时说明以分类标识符作为全局特征输入 MLP 头完成分类,并给出 1000 类与 10 类两种输出形状。
- 原始内容:(3)VisionTransformer:构建ViT的整体结构,首先通过PatchEmbedding生成嵌入,然后经过多个TransformerBlock层提取深层特征,最后将分类标识符作为全局特征输入MLP头,实现图像分类。