← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9548.h · 生成模型:DeepSeek-V4.1-Flash

四比一划分与双集评估

理解等级:初级

微调数据按 4:1 拆成训练集与验证集,两份数据承担不同职责。训练集参与前向、损失计算与反向传播,参数在它上面被更新;验证集只做前向,用来观察模型在没见过的样本上的表现。每个轮次结束都记录两份损失与准确率,形成两条曲线:训练指标持续上升而验证指标停滞或下降,说明模型开始记住训练样本的细节;两者同步上升,说明泛化仍在改善。原文的三轮结果里,训练准确率 0.900、验证准确率 0.850,差距不大但已经出现,提示仍可继续训练,也提示需要留意过拟合。只看训练指标无法判断模型好坏,双集对照才让“学没学会”变成可观测的量,见[[微调只换一个分类头]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0003.xhtml) - 结论依据:原文按 4:1 拆分数据,并分别定义训练与验证函数,在每个轮次输出两者的损失与准确率。 - 原始内容:(4)训练和验证函数:分别定义train_epoch和eval_model函数,进行前向传播、损失计算和反向传播,评估模型在训练集和验证集上的表现。