知识卡片
点击计数需原子去重
为点击赋予稳定唯一ID,处理时把已消费ID与计数状态的更新放在同一持久提交内,提交成功后才确认上游;重放命中已提交ID就跳过重复效果。MillWheel记录去重与状态同写体现这一思路。它保护受管计数,若最终还调用外部扣款或开票,外部接收方仍须提供幂等或事务衔接,不能由流框架自动担保。
相关问题:[[ch12-013-点击计费怕漏算与重算]]。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 流式计算 · 查看原书依据
为了能够正确检测重复的数据,MillWheel的计算节点将每条新产生的数据都赋予一个唯一的ID,在状态持久化过程中,将这个ID和各种状态信息一同写入外部数据库中。这样,当再次接收到相同的数据时,通过数据库就可以知道是否重复发送数据,如果是重复数据,则抛掉该数据,并向上游节点发送ACK消息确认(否则上游节点会反复发送该消息)。如果阅读了后续章节Storm的“事务拓扑”机制可以看出,这和Storm的防止重复机制是非常类似的。为了增加查找效率,MillWheel在计算节点内存中使用了Bloom Filter在历史数据记录集合中进行快速查找。
参考来源
- 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落98(OEBPS/text00017.html)。
- 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。
- 原始内容:为了能够正确检测重复的数据,MillWheel的计算节点将每条新产生的数据都赋予一个唯一的ID,在状态持久化过程中,将这个ID和各种状态信息一同写入外部数据库中。这样,当再次接收到相同的数据时,通过数据库就可以知道是否重复发送数据,如果是重复数据,则抛掉该数据,并向上游节点发送ACK消息确认(否则上游节点会反复发送该消息)。如果阅读了后续章节Storm的“事务拓扑”机制可以看出,这和Storm的防止重复机制是非常类似的。为了增加查找效率,MillWheel在计算节点内存中使用了Bloom Filter在历史数据记录集合中进行快速查找。