知识卡片

普通读书笔记卡 · 9549.h · 生成模型:DeepSeek-V4.1-Flash

五轮训练与验证曲线

理解等级:初级

ViT 的训练循环与其他分类模型同构:图像先缩放到固定尺寸并转成张量,前向得到类别分数,与标签计算交叉熵损失,反向传播更新参数,再在验证集上只做前向、统计损失与准确率。原文在 CIFAR-10 上跑了五轮,训练损失从 1.5402 降到 0.9832,训练准确率从 0.4567 升到 0.6789,验证准确率从 0.4873 升到 0.6543。两组指标同步改善,说明模型仍在学习有效特征;验证始终略低于训练,是正常的泛化差距。由于 ViT 把图像转成块序列,预处理中的尺寸统一尤为关键:尺寸变了,块数就变,位置编码对应的长度也随之改变,权重无法直接套用,见[[分类头决定输出类别数]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • ViT模型 · 查看原书依据

      在ViT模型的训练和评估中,主要通过输入预处理、模型定义、损失计算、优化步骤,以及在训练和验证集上的迭代计算,来得到分类性能。ViT模型不依赖传统卷积神经网络的卷积层,而是将图像划分为不重叠的小块并进行嵌入,以序列方式输入Transformer结构。

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第4章《ViT模型》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter008_0003.xhtml) - 结论依据:原文归纳训练评估环节为输入预处理、模型定义、损失计算与优化迭代,并给出五轮训练后训练与验证的损失、准确率数值。 - 原始内容:在ViT模型的训练和评估中,主要通过输入预处理、模型定义、损失计算、优化步骤,以及在训练和验证集上的迭代计算,来得到分类性能。ViT模型不依赖传统卷积神经网络的卷积层,而是将图像划分为不重叠的小块并进行嵌入,以序列方式输入Transformer结构。