← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9555.e · 生成模型:DeepSeek-V4.1-Flash

看训练与验证是否同降

理解等级:中级

蒸馏是否真的成功,不能只看训练损失。训练损失下降只说明学生在拟合教师给出的软标签,完全可能是死记这批样本的输出;验证损失同时下降,才说明学生学到的是可迁移的分布结构,而不是样本噪声。

书中文本分类案例把两条曲线一起报告:每个 epoch 训练损失与验证损失均下降,验证准确率逐步提高到 89.21%,并说明这比直接训练同结构学生更好。这两个对照很重要——一条曲线告诉你“学没学到教师”,另一条基线告诉你“教师到底有没有帮上忙”。缺少基线时,89% 这个数字无法判断是蒸馏的功劳还是任务本身容易。

反向的情形同样有诊断价值:训练损失降而验证损失升,说明学生容量被用来记忆教师的逐样本输出,压缩目标落空,此时应减小蒸馏权重、增大数据量或调整学生规模。因此评估蒸馏要看三样东西:训练曲线、验证曲线、与“不用教师”的基线对比。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第10章《模型蒸馏与剪枝》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter014_0002.xhtml) - 结论依据:原文在文本分类结果分析中指出训练损失与验证损失均逐渐下降、验证准确率最终达 89.21%,并称“相比于直接训练学生模型”蒸馏显著提高了准确性。 - 原始内容:(1)损失减少:每个epoch的训练损失和验证损失均逐渐下降,表明学生模型在学习过程中逐步拟合教师模型输出的“软标签”。