知识卡片
处理恰好一次不保证输出不重复
输入接收和内部计算具有恰好一次语义,并不自动保证外部写入不重复。批次重试可能让同一结果再次输出;若目标是增量更新数据库,可给批次设置唯一标识,在数据库事务中检查并记录该标识后写入,形成幂等提交。可靠性必须沿“接收—处理—输出”逐段核对,不能只凭内部计算保证推断端到端结果。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第6章6.2.5《消息传达可靠性保证》(源文件:_epub-src/OEBPS/Text/chapter103.xhtml)
- 结论依据:原文把可靠性分成接收、处理、输出三部分,指出外部输出可能重复,并建议批次唯一标识配合数据库事务去重。
- 原始内容:Spark Streaming的数据输出部分目前只具有“至少一次”的可靠性保证机制。也就是说,经过处理的数据可能会被多次输出到外部系统。……在各个RDD中新增一个唯一标识符来表示这批数据,然后在写入数据库时,使用这个唯一标识符来检查数据之前是否写入过。