知识卡片
代理指标与预测切片排障
拿不到强实时真值时可转向代理指标:与想近似的真值相关、却特意挑「到得更快」的替代信号。桥梁失效可看桥梁检查结果、维护计划、是否位于易涝区与桥龄;房价预测常用「只改少量分量的相似房源」——同卧室/卫浴数但不同区域,或同区域但不同卧室数;施工周期以月年计的场景,连这种杂乱复合代理都好过没有。作者强调两条硬约束:代理指标必须有统计显著性,且其相关性会随时间改变,需持续重评。此外即便能算性能,模型总有达不到预期的时候,最常见成因是训练数据欠采样、漂移与影响输入数据质量的完整性问题;最佳实践是别只看平均值,而要调查各个预测切片(某个特定子段,如加州全体用户):欺诈模型假阴性从预期 % 突然跳到 2%,自然做法是看该行为是否集中在某地区或某商户,既能定位漏判发生在哪,也能告诉重训时该对哪些数据切片上采样;理解表现最差的切片还能反过来给建模者改进模型性能的反馈。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Monitoring and Observability for Models · 查看原书依据
In the case of bridge failures, we might look at results of bridge inspections, maintenance schedules, whether a bridge is in an area prone to flooding, and the age of a bridge.
参考来源
- 位置:《Reliable Machine Learning》第09章《Monitoring and Observability for Models》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch09.xhtml)
- 结论依据:原文明确阐述该主题,并给出定义、实践或反例。
- 原始内容:In the case of bridge failures, we might look at results of bridge inspections, maintenance schedules, whether a bridge is in an area prone to flooding, and the age of a bridge.