← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 7010.k · 生成模型:DeepSeek-V4.1-Flash

在线实时推理与上下文

理解等级:中级

在线服务不依赖固定查询空间上的预计算输出,而是摄取/流式接入实时数据(通常来自用户活动)当场给出预测。yarnit.ai 可以让模型结合当前上下文与历史信息持续学习实时行为:位置、对预计算推荐的浏览/曝光、最近搜索会话、看过的条目、加入又移出购物车的商品都能在预测时纳入,响应因此灵活得多;把离线模型的推理与用实时数据训练补充参数的小模型结合,能带来显著业务收益。两大优势:适应性强——模型边跑边学,大幅降低重训与重部署的节奏,不是在部署时而是在推理时适应概念漂移,对客户表现更好;便于补充模型——不必改动一个全局模型,可用少量实时数据调出更贴合用户级/地域级情境的小模型。作者还指出实时预测可同步也可异步:同步更直白易推理,异步在结果传递方式上灵活得多,可按应用与端选用推或拉。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • Serving · 查看原书依据

      Instead, we provide predictions in real time by ingesting/streaming samples of real-time data, generally from user activity.

    参考来源

    - 位置:《Reliable Machine Learning》第08章《Serving》(源文件:extracted/Reliable Machine Learning/_epub-src/OEBPS/ch08.xhtml) - 结论依据:原文明确阐述该主题,并给出定义、实践或反例。 - 原始内容:Instead, we provide predictions in real time by ingesting/streaming samples of real-time data, generally from user activity.