知识卡片
四比一划分与双集评估
微调数据按 4:1 拆成训练集与验证集,两份数据承担不同职责。训练集参与前向、损失计算与反向传播,参数在它上面被更新;验证集只做前向,用来观察模型在没见过的样本上的表现。每个轮次结束都记录两份损失与准确率,形成两条曲线:训练指标持续上升而验证指标停滞或下降,说明模型开始记住训练样本的细节;两者同步上升,说明泛化仍在改善。原文的三轮结果里,训练准确率 0.900、验证准确率 0.850,差距不大但已经出现,提示仍可继续训练,也提示需要留意过拟合。只看训练指标无法判断模型好坏,双集对照才让“学没学会”变成可观测的量,见[[微调只换一个分类头]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- BERT模型核心实现与预训练 · 查看原书依据
(4)训练和验证函数:分别定义train_epoch和eval_model函数,进行前向传播、损失计算和反向传播,评估模型在训练集和验证集上的表现。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第3章《BERT模型核心实现与预训练》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter007_0003.xhtml)
- 结论依据:原文按 4:1 拆分数据,并分别定义训练与验证函数,在每个轮次输出两者的损失与准确率。
- 原始内容:(4)训练和验证函数:分别定义train_epoch和eval_model函数,进行前向传播、损失计算和反向传播,评估模型在训练集和验证集上的表现。