返回主题:状态与容错:状态存哪、错了怎么恢复

知识卡片

普通读书笔记卡 · 3103.c

状态更新可只输出变化键

理解等级:中级

按键保存历史状态时,输出完整状态表与只输出本批变化的键,是两种不同的结果范围。书中的 updateStateByKey 返回全部历史状态,而 mapWithState 只返回本批更新信息。若下游只关心实时变化,后者可减少输出量;若要生成完整报表,则需能获得全量状态。选接口要先明确下游消费的是快照还是增量。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第6章6.2.4《流的状态》(源文件:_epub-src/OEBPS/Text/chapter102.xhtml) - 结论依据:原文将两种接口分别比作完整直方图与发生变化的柱条,并用报表场景说明选择边界。 - 原始内容:updateStateByKey会返回记录的所有历史信息,而mapWithState只会返回处理当前一批数据时更新的信息。就好像,前者返回了一个完整的直方图,而后者只是返回直方图中发生变化的柱条。