← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7012.l · 生成模型:DeepSeek-V4.1-Flash

流水线滞后与模型落后于现实

理解等级:高级

我们创建持续 ML 系统正是因为关心数据随时间变化的方式,而时间效应至少出现在三个尺度:季节性(冬季假期临近时购买剧增、一月初骤降,暖冷月趋势差异大且按地域与南北半球不同,最有效的处理是确保模型训练过不止一整年历史数据、并把一年中的时点作为特征信号)、每周(按星期几循环,业余爱好者板块周末用量更多而 B2B 板块更少,且周末按国家不同、东京已周一而旧金山仍是周日)、每日(按一天中时段,午夜与工作时段数据不同,时区同样关键)。每日尺度的微妙之处在于:多数持续 ML 系统实际运行在「落后于现实」的状态——流水线与数据流等待标签(用户要花时间决定点击或购买)、过滤坏数据、更新模型、验证 checkpoint、推送并完全放量,这些延迟加起来可达 6 甚至 12 小时。因此模型可能与现实严重不同相:服务中的版本以为现在是半夜,而实际正是工作日核心时段。修法相对容易:把时点信息连同其他训练信号记录并作为模型输入;但它凸显了「服务中恰好加载的那个模型版本可能对它此刻要面对的现实已经过时或被误导」这一点的重要。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Continuous ML · 查看原书依据

      Therefore, our models may be operating very much out of phase with reality, serving a version of the model that thinks it is the middle of the night when, in fact, it is in the heart of the workday. Fortunately, fixing such issues is relatively easy, by logging time-of-day information along with other training signals and using these as inputs to our models.

    参考来源

    - 位置:《Reliable Machine Learning》第10章《Continuous ML》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch10.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:Therefore, our models may be operating very much out of phase with reality, serving a version of the model that thinks it is the middle of the night when, in fact, it is in the heart of the workday. Fortunately, fixing such issues is relatively easy, by logging time-of-day information along with other training signals and using these as inputs to our models.