← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7011.n · 生成模型:DeepSeek-V4.1-Flash

实际值到达:实时、延迟、有偏与几乎没有

理解等级:高级

要把训练/验证的指标搬到生产,必须能把预测与对应的观测现实(actuals)对上:打车 ETA 模型验证时尽量压低 RMSE(顾客对「承诺过头、交付不足」比反向更恼火),生产里就得有流程把预测 ETA 与实际 ETA 对账算误差。实际值到达分四种情形。①实时实际值:部署后很快拿回可行动的性能信息,是理想场景也是课堂里唯一常教的,最著名是数字广告(预测用户最可能点哪个广告,几乎立刻知道是否点击),外卖送达类似且业务自带时限;有了短反馈回路,把潜在真值连回预测事件后,无论真值来得多晚都能算并跟踪性能指标,按固定节奏跟踪即可确认性能未相对训练时或刚上线时严重退化。②延迟实际值:商业里 arguably 更常见也更棘手,如预测桥梁坍塌、房地产走势,周期以年甚至十年计;信用卡欺诈判定要等数天到数月的挂失报告或拒付争议,客户没发现甚至永不到来,延迟可能无上界。③有偏实际值:并非所有真值等价,贷款场景里拒贷意味着永远不知道该申请人本能否还款,只有被批准者才产生可用于未来训练的结果,这种选择偏差会让其他偏差趁虚而入,永远无法知道被预测会违约的人其实本可全额还清。④几乎没有实际值:需人工核验预测(图像分类常需人在环抽样验证)、无法把响应归因到预测、或时间窗长到无法提示建模者检查性能,此时常用代理指标与 A/B 比较产品指标,模型数据监控因此更重要。还可看通用行为度量判断是否真跑偏,首选「无用响应」(空、不完整、劣质回退)相对「够用」响应的占比,另一个是数据分布。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Monitoring and Observability for Models · 查看原书依据

      Indeed, these kinds of situations are arguably more common in business generally than case 1, and certainly a lot more awkward to deal with. Imagine you are trying to predict the likelihood of physical infrastructure failing—say, bridges collapsing—or use ML to perform predictions in the real estate market.

    参考来源

    - 位置:《Reliable Machine Learning》第09章《Monitoring and Observability for Models》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch09.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:Indeed, these kinds of situations are arguably more common in business generally than case 1, and certainly a lot more awkward to deal with. Imagine you are trying to predict the likelihood of physical infrastructure failing—say, bridges collapsing—or use ML to perform predictions in the real estate market.