返回主题:状态与容错:状态存哪、错了怎么恢复

知识卡片

支付系统案例卡 · 1777.i

点击计数需原子去重

理解等级:高级

为点击赋予稳定唯一ID,处理时把已消费ID与计数状态的更新放在同一持久提交内,提交成功后才确认上游;重放命中已提交ID就跳过重复效果。MillWheel记录去重与状态同写体现这一思路。它保护受管计数,若最终还调用外部扣款或开票,外部接收方仍须提供幂等或事务衔接,不能由流框架自动担保。

相关问题:[[ch12-013-点击计费怕漏算与重算]]。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      为了能够正确检测重复的数据,MillWheel的计算节点将每条新产生的数据都赋予一个唯一的ID,在状态持久化过程中,将这个ID和各种状态信息一同写入外部数据库中。这样,当再次接收到相同的数据时,通过数据库就可以知道是否重复发送数据,如果是重复数据,则抛掉该数据,并向上游节点发送ACK消息确认(否则上游节点会反复发送该消息)。如果阅读了后续章节Storm的“事务拓扑”机制可以看出,这和Storm的防止重复机制是非常类似的。为了增加查找效率,MillWheel在计算节点内存中使用了Bloom Filter在历史数据记录集合中进行快速查找。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落98(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:为了能够正确检测重复的数据,MillWheel的计算节点将每条新产生的数据都赋予一个唯一的ID,在状态持久化过程中,将这个ID和各种状态信息一同写入外部数据库中。这样,当再次接收到相同的数据时,通过数据库就可以知道是否重复发送数据,如果是重复数据,则抛掉该数据,并向上游节点发送ACK消息确认(否则上游节点会反复发送该消息)。如果阅读了后续章节Storm的“事务拓扑”机制可以看出,这和Storm的防止重复机制是非常类似的。为了增加查找效率,MillWheel在计算节点内存中使用了Bloom Filter在历史数据记录集合中进行快速查找。