知识卡片

普通读书笔记卡 · 3107.b

流节点可直接使用离线结果

理解等级:中级

Lambda 的批处理结果不一定只在最终查询层合并。若在线流处理需要复杂特征或模型参数,流节点可先读取离线预计算结果,再叠加最新事件完成实时判断。这样把无法在线重算的全量部分提前完成;实施时要标明离线结果版本、更新周期和缺失时的处理方式,避免把“处理时延短”误写成“数据完全实时”。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第7章7.2.3《Lambda架构在实时流计算中的运用》(源文件:_epub-src/OEBPS/Text/chapter122.xhtml;图7-2) - 结论依据:正文说明流计算节点可直接使用批处理层结果,并以离线训练模型、在线评分为例。 - 原始内容:由分散在流计算框架各个节点处的计算逻辑单元直接使用批处理层的计算结果