知识卡片

普通读书笔记卡 · 9549.g · 生成模型:DeepSeek-V4.1-Flash

分类头决定输出类别数

理解等级:初级

ViT 的输出来自分类头,而分类头的宽度由任务类别数决定。编码器处理完序列后,取出分类标识符位置的向量作为整幅图的全局表示,送入一个多层感知机头,映射成每个类别的打分。原文的完整模型在 ImageNet 设定下输出形状为 [1, 1000],即一张图对应一千个类别的分数;改用本地图片、类别数改为十时,同一套结构输出 [1, 10]。可见 1000 与 10 不是编码器的固定属性,而是最后那层线性映射的输出宽度。推理时对这些分数取最大值,就得到预测类别。理解这一点,才能把在大型数据集上预训练的 ViT 迁移到类别数不同的自有任务上,只需替换分类头,见[[CLS与位置编码补全输入]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • ViT模型 · 查看原书依据

      (3)VisionTransformer:构建ViT的整体结构,首先通过PatchEmbedding生成嵌入,然后经过多个TransformerBlock层提取深层特征,最后将分类标识符作为全局特征输入MLP头,实现图像分类。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0001.xhtml) - 结论依据:原文解析 VisionTransformer 时说明以分类标识符作为全局特征输入 MLP 头完成分类,并给出 1000 类与 10 类两种输出形状。 - 原始内容:(3)VisionTransformer:构建ViT的整体结构,首先通过PatchEmbedding生成嵌入,然后经过多个TransformerBlock层提取深层特征,最后将分类标识符作为全局特征输入MLP头,实现图像分类。