返回主题:状态与容错:状态存哪、错了怎么恢复

知识卡片

普通读书笔记卡 · 3103.d

处理恰好一次不保证输出不重复

理解等级:高级

输入接收和内部计算具有恰好一次语义,并不自动保证外部写入不重复。批次重试可能让同一结果再次输出;若目标是增量更新数据库,可给批次设置唯一标识,在数据库事务中检查并记录该标识后写入,形成幂等提交。可靠性必须沿“接收—处理—输出”逐段核对,不能只凭内部计算保证推断端到端结果。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《实时流计算系统设计与实现》第6章6.2.5《消息传达可靠性保证》(源文件:_epub-src/OEBPS/Text/chapter103.xhtml) - 结论依据:原文把可靠性分成接收、处理、输出三部分,指出外部输出可能重复,并建议批次唯一标识配合数据库事务去重。 - 原始内容:Spark Streaming的数据输出部分目前只具有“至少一次”的可靠性保证机制。也就是说,经过处理的数据可能会被多次输出到外部系统。……在各个RDD中新增一个唯一标识符来表示这批数据,然后在写入数据库时,使用这个唯一标识符来检查数据之前是否写入过。