知识卡片
五轮训练与验证曲线
ViT 的训练循环与其他分类模型同构:图像先缩放到固定尺寸并转成张量,前向得到类别分数,与标签计算交叉熵损失,反向传播更新参数,再在验证集上只做前向、统计损失与准确率。原文在 CIFAR-10 上跑了五轮,训练损失从 1.5402 降到 0.9832,训练准确率从 0.4567 升到 0.6789,验证准确率从 0.4873 升到 0.6543。两组指标同步改善,说明模型仍在学习有效特征;验证始终略低于训练,是正常的泛化差距。由于 ViT 把图像转成块序列,预处理中的尺寸统一尤为关键:尺寸变了,块数就变,位置编码对应的长度也随之改变,权重无法直接套用,见[[分类头决定输出类别数]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- ViT模型 · 查看原书依据
在ViT模型的训练和评估中,主要通过输入预处理、模型定义、损失计算、优化步骤,以及在训练和验证集上的迭代计算,来得到分类性能。ViT模型不依赖传统卷积神经网络的卷积层,而是将图像划分为不重叠的小块并进行嵌入,以序列方式输入Transformer结构。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0003.xhtml)
- 结论依据:原文归纳训练评估环节为输入预处理、模型定义、损失计算与优化迭代,并给出五轮训练后训练与验证的损失、准确率数值。
- 原始内容:在ViT模型的训练和评估中,主要通过输入预处理、模型定义、损失计算、优化步骤,以及在训练和验证集上的迭代计算,来得到分类性能。ViT模型不依赖传统卷积神经网络的卷积层,而是将图像划分为不重叠的小块并进行嵌入,以序列方式输入Transformer结构。