知识卡片
唯一伙伴键变更:抽取正常但一行都合不进去
故事二里,Sam 发现某伙伴 ML 训练数据中近期转化为零、财务系统却每天有成交;由于这类计数差异太常见,数据抽取团队只记了个低优先级 bug,没人评估影响面,事件长期无人管理,直到伙伴在商务会上说销量周环比跌 40%。进一步查:抽取本身正常,但把抽取数据合并进存量数据的进程连续两周对任何伙伴都「找不到可合并项」;根因是两周前数据管理团队为方便其他分析项目改了日志里标识伙伴的唯一键,新键被带进抽取数据,与历史标识不同,于是新日志与历史数据无法合并。作者由此给出全章最重要的概括之一:ML 系统最常见的失效来自数据与元数据问题,触发器往往离症状很远——改动发生在特征 schema,症状却出现在推荐质量与收入上。对策是显式的数据 schema 版本化,并保证主特征库的结构变更至少会通知(最好强制联动)所有下游使用方。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Incident Response · 查看原书依据
Further investigation reveals that two weeks ago, in order to facilitate other data analysis projects, the data management team changed the unique partner key, used to identify each partner in its log entries. This new unique key was included in the extracted data, and because it differed from previous partner identifiers, the newly extracted logs could not be merged with any data extracted prior to the key being added.