← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7010.j · 生成模型:DeepSeek-V4.1-Flash

离线服务的优势与结构性代价

理解等级:高级

离线服务的优势:无需专门基础设施、运行态活动部件少;应用做简单键值查或 SQL 即可;预测已预计算故返回极快;按标识符分表分记录便于灰度发布与回滚多个模型;还能在使用前验证全部预测,对建立正确运行很有价值。代价是结构性的:训练数据必须提前可得,模型改进上线更慢,上游数据中断会导致模型陈旧、数天延迟、永久丢数与昂贵回填;服务数据也必须提前可得,完全正确运行要求系统预知每一个可能查询,这在长尾查询空间里根本不可能既高准确又低延迟;依赖大数据集或大查询空间时扩展困难;多份模型输出存内存或应用库受容量与性能限制,影响同时跑多个 A/B 测试;且因预计算而无法用在线上下文影响预测。对照第 7 章「数据不可用」可知,离线架构把数据时效性风险放大了整整一个层级。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Serving · 查看原书依据

      Availability of data (serving) Effectively, the serving data needs to be available ahead of time; for fully correct operation, the system needs to know in advance every possible query that will be made of it. This is simply impossible in many use cases.

    参考来源

    - 位置:《Reliable Machine Learning》第08章《Serving》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch08.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:Availability of data (serving) Effectively, the serving data needs to be available ahead of time; for fully correct operation, the system needs to know in advance every possible query that will be made of it. This is simply impossible in many use cases.