知识卡片
准确率不够,要看四个指标
微调后的评估不能只看准确率。原文要求计算准确率、精确率、召回率与 F1 分数四项,用一组指标全面衡量性能。四者的分工是:准确率统计预测正确的比例;精确率回答”判为正的样本里有多少真的是正”;召回率回答”真正的正样本里抓到了多少”;F1 是精确率与召回率的调和平均,用单个数字概括两者的平衡。
只有在类别不平衡时,这四个数字才会拉开差距。若 95% 样本是负类,全部判负也能得到 95% 的准确率,但召回率为 0,模型毫无用处。此时精确率与召回率的取舍取决于业务代价:漏检代价高就偏向召回,误报代价高就偏向精确,F1 给出折中值。因此报告指标时应同时给出正类比例,否则读者无法判断数字的分量。
原文示例输出四项全为 1.00。全满分本身就是信号:说明评估集太小或与训练集同源,模型几乎完全拟合,这类结果不能用来推断泛化能力。评估之后才谈推理优化,见 [[动态量化只压Linear层]]。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 模型微调实战 · 查看原书依据
模型在微调完成后,其评估和推理优化至关重要。评估模型性能的常用指标包括准确率、精确率、召回率等。推理阶段可以通过模型量化、蒸馏等技术优化模型的效率与性能。本节将展示微调后如何进行模型评估,并通过量化与蒸馏优化推理速度。
参考来源
- 位置:《从零构建大模型:算法、训练与微调》第12章《模型微调实战》(源文件:extracted/从零构建大模型:算法、训练与微调/_epub-src/EPUB/xhtml/chapter016_0004.xhtml)
- 结论依据:原文指出评估与推理优化同样重要,并列出准确率、精确率、召回率等常用指标,代码解析中给出计算四项指标用于全面分析性能。
- 原始内容:模型在微调完成后,其评估和推理优化至关重要。评估模型性能的常用指标包括准确率、精确率、召回率等。推理阶段可以通过模型量化、蒸馏等技术优化模型的效率与性能。本节将展示微调后如何进行模型评估,并通过量化与蒸馏优化推理速度。