知识卡片
实际值到达:实时、延迟、有偏与几乎没有
要把训练/验证的指标搬到生产,必须能把预测与对应的观测现实(actuals)对上:打车 ETA 模型验证时尽量压低 RMSE(顾客对「承诺过头、交付不足」比反向更恼火),生产里就得有流程把预测 ETA 与实际 ETA 对账算误差。实际值到达分四种情形。①实时实际值:部署后很快拿回可行动的性能信息,是理想场景也是课堂里唯一常教的,最著名是数字广告(预测用户最可能点哪个广告,几乎立刻知道是否点击),外卖送达类似且业务自带时限;有了短反馈回路,把潜在真值连回预测事件后,无论真值来得多晚都能算并跟踪性能指标,按固定节奏跟踪即可确认性能未相对训练时或刚上线时严重退化。②延迟实际值:商业里 arguably 更常见也更棘手,如预测桥梁坍塌、房地产走势,周期以年甚至十年计;信用卡欺诈判定要等数天到数月的挂失报告或拒付争议,客户没发现甚至永不到来,延迟可能无上界。③有偏实际值:并非所有真值等价,贷款场景里拒贷意味着永远不知道该申请人本能否还款,只有被批准者才产生可用于未来训练的结果,这种选择偏差会让其他偏差趁虚而入,永远无法知道被预测会违约的人其实本可全额还清。④几乎没有实际值:需人工核验预测(图像分类常需人在环抽样验证)、无法把响应归因到预测、或时间窗长到无法提示建模者检查性能,此时常用代理指标与 A/B 比较产品指标,模型数据监控因此更重要。还可看通用行为度量判断是否真跑偏,首选「无用响应」(空、不完整、劣质回退)相对「够用」响应的占比,另一个是数据分布。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Monitoring and Observability for Models · 查看原书依据
Indeed, these kinds of situations are arguably more common in business generally than case 1, and certainly a lot more awkward to deal with. Imagine you are trying to predict the likelihood of physical infrastructure failing—say, bridges collapsing—or use ML to perform predictions in the real estate market.