知识卡片
流程二:独立评估变更与组合去风险测试
第二类是变更的独立评估:集中团队里所有变更容易互相依赖、被别的变更卡住;若改为各自独立评估、在每个模型单独改动生产时验证其准确性,变更就能更快可用。这里藏着一个常被平均值掩盖的问题——模型可能在平均表现上变好,却伤及特定子群;判断这类取舍值不值,往往需要大量分析与挖掘,并依赖难以用「预测准确率」这类简单指标反映的业务目标来判断。第三类是组合变更的去风险测试:大型建模团队常并行开发多项改进并一起上线,于是必须既单独测、也组合测候选变更;但资源与机会成本决定了不可能测遍所有组合,因此要有筛选候选变更、判断哪些值得组合测试的流程,典型形式是讨论模型上线与组合测试情况的 go/no-go 会议。作者补一句组织层面的判断:文献里这常被当成算法或技术问题,但它同时也是很重的组织问题——没有「分别评估变更、并为如何部署制定策略」的决策与管理框架,就无法正确排定这项工作的优先级。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Practical ML Org Implementation Examples · 查看原书依据
Often a model may improve performance on average but may hurt performance on specific subgroups.
参考来源
- 位置:《Reliable Machine Learning》第14章《Practical ML Org Implementation Examples》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch14.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:Often a model may improve performance on average but may hurt performance on specific subgroups.