知识卡片
测试集参考转录偏向旧模型输出
新 Dialects 模型发布后期,在多个测试集上表现良好,却在某一个测试集上、经多次内部试验都显著差于六个月前上线的生产模型,部署因此被叫停。团队用多种方法排查:从头重训新模型、检查数据划分(此前曾有过训练/测试误划分的教训)、还想用同样流程复现生产模型的结果,但 11 个月后受保留策略约束的数据已开始过期,精确训练集不复存在,复现只得到不确定结论。真正解开差异的洞见是:那个在测试集上表现好的旧模型,正是「从生产取数据造测试集」时正在服役的模型;而人工转写员是通过编辑生产模型的转录来生成测试集参考转录的,所以该测试集的「标准答案」本身偏向旧模型的输出——新模型越正确,反而越像错。更无奈的是,受任意数据保留制度影响的数据具有瞬时性,让「为代表性不足数据建立并维护足够语料」雪上加霜,团队因此永远无法百分之百确认。这张卡提醒:标注来源里若含模型产物,评估基准就可能被悄悄锚定在旧模型上。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Case Studies: MLOps in Practice · 查看原书依据
Ultimately, the key insight to resolving the discrepancy was that the previous model that had performed well on the test set was actually in use during the time the data from production was taken to make the test set. Since our human transcribers create test-set transcripts by editing production model transcripts, this means that the reference transcript of this test set is biased toward the output of the old model.