知识卡片
数据与代码:持续更新的收益与风险
表面上,创建持续 ML 系统像是个糟糕主意:这样做等于把系统暴露给一组因外部真实世界潜在变化而本质不可先知的变化,可能引起意外或不合意的行为。作者给出一句极重的判断——如果记住「在 ML 里,数据就是代码」,持续 ML 的想法就等于接受一股源源不断、能改变生产系统行为的新代码流。唯一值得这么做的理由是:持续更新系统的收益超过成本;而很多情况下收益确实可观,因为一个能学习并适应世界中新出现趋势的系统,可以达到某种整体质量水平,帮助我们实现复杂的业务与产品目标。本章目标正是考察成本在哪里累积、问题在哪里出现,以便把持续 ML 系统的总体成本压到最低同时保住收益,并用六条洞见概括:外部世界事件会影响系统、模型可能经反馈回路影响自己未来的训练数据、时间效应出现在多个尺度、危机响应必须实时、新发布需要分阶段放量与稳定基线、模型必须被管理而非被交付。技术挑战之外还有组织机会与复杂性:持续改进的模型需要能管理持续改进的组织,要有产生并跟踪改进想法的框架、要能长期评估多个版本而非只盯替换那一刻、要把建模看作有成本风险也有巨大潜在收益的长期价值创造项目。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- Continuous ML · 查看原书依据
If we remember that in ML, data is code, the idea of continuous ML is to accept the equivalent of a steady stream of new code that can change the behavior of our production system. The only reason to do this is when the benefits of a continuously updating system outweigh the costs.