返回主题:状态与容错:状态存哪、错了怎么恢复

知识卡片

普通读书笔记卡 · 1777.b.2.a

布隆阳性仍需查持久记录

理解等级:中级

MillWheel用唯一记录ID检测重放,布隆过滤器可加速判断一定未出现的ID,但阳性有误报可能,仍须查询持久记录确认。直接把过滤器阳性当作重复并丢弃,会造成真实新记录丢失。去重记录的保留与可重放时间也须相匹配,不能无限缩短后仍宣称覆盖全部历史重放。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    • 流式计算 · 查看原书依据

      为了能够正确检测重复的数据,MillWheel的计算节点将每条新产生的数据都赋予一个唯一的ID,在状态持久化过程中,将这个ID和各种状态信息一同写入外部数据库中。这样,当再次接收到相同的数据时,通过数据库就可以知道是否重复发送数据,如果是重复数据,则抛掉该数据,并向上游节点发送ACK消息确认(否则上游节点会反复发送该消息)。如果阅读了后续章节Storm的“事务拓扑”机制可以看出,这和Storm的防止重复机制是非常类似的。为了增加查找效率,MillWheel在计算节点内存中使用了Bloom Filter在历史数据记录集合中进行快速查找。

    参考来源

    - 位置:《大数据日知录:架构与算法》第12章《流式计算》,原文段落98(OEBPS/text00017.html)。 - 结论依据:本卡说明书中机制及其适用条件;出版时版本、目标数字与架构状态不作为当前普遍保证。 - 原始内容:为了能够正确检测重复的数据,MillWheel的计算节点将每条新产生的数据都赋予一个唯一的ID,在状态持久化过程中,将这个ID和各种状态信息一同写入外部数据库中。这样,当再次接收到相同的数据时,通过数据库就可以知道是否重复发送数据,如果是重复数据,则抛掉该数据,并向上游节点发送ACK消息确认(否则上游节点会反复发送该消息)。如果阅读了后续章节Storm的“事务拓扑”机制可以看出,这和Storm的防止重复机制是非常类似的。为了增加查找效率,MillWheel在计算节点内存中使用了Bloom Filter在历史数据记录集合中进行快速查找。