知识卡片

普通读书笔记卡 · 7011.l · 生成模型:DeepSeek-V4.1-Flash

回退:旧版本、算法回退与 schema 陷阱

理解等级:高级

无论何种理由都强烈建议有回退计划(新模型失败、发布失败、甚至旧模型在某子集出现怪异行为时该走的步骤)。两条主路:用旧版本模型(回滚)——这意味着应保留并正确版本化旧模型二进制、还要监控生产里实际运行的版本,因为在停产时压训练基础设施用旧数据重建模型通常是最糟选择;或回退到更简单的算法甚至硬编码做法,例如推荐坏了就展示站内最热门的 10 件商品,虽对谁都不算准,但多数情况下也不会太离谱。回滚必须极其小心:schema 变化、格式变化或语义变化(关键数据库、数据源或特征商店格式在版本间改变)容易被忽略,可能使回滚不重建整套依赖就事实上不可行,也可能因未彻底理解错误而难以前滚,这时算法回退能救命;但算法回退自身也会因类别错误失败。更微妙的是即便 schema 未变,不同版本对特征的变换也可能不同:打车接客地点缺失,一版默认到「上次见到乘客处」,另一版取最近保存的常用地点(家、公司等);若系统一侧回退到旧变换、另一侧仍用新变换就更糟。作者还发出行动呼吁:业界尚无 IaC 社区那种普及的 CI/CD 工作流可用于模型开发,现实仍靠代码与数据的同行人工评审、以及需要统计学博士的详细验证,摩擦巨大,应推动尽量自动化,哪怕做到「人工验证之后的一切都把训练产物安全自动送到生产」也是显著进步。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《Reliable Machine Learning》第09章《Monitoring and Observability for Models》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch09.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:These differences in the way the features are transformed might differ among versions and would also complicate rollback.