知识卡片

普通读书笔记卡 · 7011.p · 生成模型:DeepSeek-V4.1-Flash

漂移三类与分布距离度量

理解等级:高级

数据层监控输入与输出,随特征增删调整监控 schema,两种手段分工明确:漂移更擅长抓数据分布的缓慢变化,数据质量检查更擅长抓突发的硬失败。漂移即分布随时间的变化——模型高度依赖训练数据,见到相似数据表现好、否则变差,尤其在数据不断演化的超增长业务里,哪怕只用直方图式方法测各维度分布也至关重要。输入分布偏离称特征漂移/数据漂移;输出偏离既有基线称模型漂移/预测漂移;更微妙的是即便模型确定、特征流水线未变、同样输入给同样结果,正确答案(actuals)的分布变了也会让昨天的预测今天出错,即概念漂移。度量两分布距离常用三者:银行业与金融科技常用的 PSI(把单指标分桶、算各桶百分比并比较占比之商的对数,可检桶内或桶间移动);与 PSI 相似但不对称、因而能察觉分布顺序交换的 KL 散度;以及计算「把一个分布搬到另一个所需工作量」的 Wasserstein 距离(推土机距离),桶间小幅溢出时得分低于从一端跳到远端的剧烈跳变。三者只是计算方式不同,本质都在量化两分布有多不同。实际值不可得时漂移常成为监控预测变化的主要手段;排查「预测为何开始漂」通常先看哪些输入也漂了,把特征漂移与特征重要性结合找出更可能与变化相关的特征,进而决定哪些需从基线重采样或做数据质量修复。基线通常用训练集、测试集或生产中的某个先前时间窗。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Reliable Machine Learning》第09章《Monitoring and Observability for Models》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch09.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:Drift is better for catching slow changes to the distribution of the data, while data quality checks are better for catching sudden, large changes in the data. Drift Drift measures change in distribution over time.