知识卡片

普通读书笔记卡 · 7013.f · 生成模型:DeepSeek-V4.1-Flash

故事一:搜索排序质量的端到端检测

理解等级:中级

YarnIt 的主力模型之一是搜索排序:先按用户词从商品库粗筛,再用模型预测如何排序。工程师 Ariel 补做监控时选了一个业务侧指标——用户点击结果前五条链接的比率,回看 12 周周报确认数值合理后,发现 12 周前到 3 周前一直稳定在约 62%,3 周前开始下滑、本周只剩 54% 且仍在跌。先怀疑新看板有缺陷,复核确认数据无误后宣布事件,并同时通知搜索模型团队、零售团队(核对搜索用户收入是否异常、排查网站结果渲染变更)。这个开局面说明两件事:一是与实现无关的高层端到端质量指标能捕捉任何重创模型的故障,无论根因在训练、数据还是日志管线;二是 ML 故障的检测常常来自业务/用户侧而非系统告警,宣布事件后要立刻把跨团队沟通铺开,而不是一个人顺着日志往下挖。作者对「检测」的定义也很严格:直到有人察觉到数字异常并正式宣布,才算检测发生。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Incident Response · 查看原书依据

      Story 1: Searching but Not Finding One of the main ML models that YarnIt uses is a search ranking model. Like most web stores, customers come to the site and click links offered to them on the front page, but they also search directly for the products they’re looking for.

    参考来源

    - 位置:《Reliable Machine Learning》第11章《Incident Response》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch11.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:Story 1: Searching but Not Finding One of the main ML models that YarnIt uses is a search ranking model. Like most web stores, customers come to the site and click links offered to them on the front page, but they also search directly for the products they’re looking for.