← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7010.h · 生成模型:DeepSeek-V4.1-Flash

服务特征流水线与训练服务偏斜

理解等级:高级

训练时对数据做过的任何特征处理,几乎都要在服务时对送进模型的每个样本重做一遍,计算开销可能相当可观。简单情形只是把图像原始像素转成稠密向量;典型生产环境要实时拼接多个来源——yarnit.ai 推荐模型可能同时需要搜索框查询的分词归一化文本、用户信息库里的历史购买、产品库里的价格与描述、本地化系统给出的地理/语言/时段。每类信息来源不同、可预计算或跨查询/会话复用的机会也不同,于是「把信息变成特征」的代码在服务时与训练时很可能不是同一套,这正是经典训练-服务偏斜的主要来源,出了名地难发现难调试。现代特征商店承诺用单一逻辑包同时管训练与服务,但现实因系统而异,仍要配健壮监控。作者尤其强调:服务时造特征是延迟的关键来源、许多系统里甚至主导延迟,因此这条流水线绝非事后补件,往往才是整个服务栈最生产关键的部分。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Serving · 查看原书依据

      This distinction is one of the main sources of classic training-serving skew errors and bugs, which are notoriously difficult to detect and debug. For a much more in-depth discussion of this kind of skew, and others, see Chapter 9.

    参考来源

    - 位置:《Reliable Machine Learning》第08章《Serving》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch08.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:This distinction is one of the main sources of classic training-serving skew errors and bugs, which are notoriously difficult to detect and debug. For a much more in-depth discussion of this kind of skew, and others, see Chapter 9.