知识卡片
重复查询污染训练数据与跨团队盲区
接下来一天半:每台设备一收到更新就重发最近查询,造成巨大流量尖峰,但因查询是自动发出的,没有额外用户点击;这批「查询更多、点击没涨」的数据被送去给持续模型重训。又因一个无关问题(issue B)原推送被回滚,设备退回旧版本、依协议再重发一次最近查询,制造第三轮重复查询与更多无点击数据。模型于是在所有被污染数据上训练,得到「全世界整体点击率约为几小时前一半」的信号,服务模型的预测随之偏低,触发大量告警。ops 团队察觉问题却找不到明显根因,因为 App 团队与模型团队对彼此系统毫无可见性——他们分属一个大组织里完全不同的区域。这是第 11 章「unbounded troubleshooting」与第 13 章「ML 天然横向、避免孤岛」的实证:一次看似纯粹属于另一个产品的客户端改动,通过数据流悄悄改写了本系统的训练分布,而组织边界让根因迟迟无法定位。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Case Studies: MLOps in Practice · 查看原书依据
Because the corrupted data included a lot of traffic with no associated clicks, the model was getting a signal that the overall click-through rate in the world was now about half of what it had been just a few hours before. The resulting learning within the model soon led to changes in the served models and, not surprisingly, lower served predictions than normal.