← 返回卡片

原书出处

大数据日知录_架构与算法

12 流式计算

2014年9月第1版 · 核验版本的摘录快照 · 导入于 2026-10-24T04:14:12.139Z

为了能够正确检测重复的数据,MillWheel的计算节点将每条新产生的数据都赋予一个唯一的ID,在状态持久化过程中,将这个ID和各种状态信息一同写入外部数据库中。这样,当再次接收到相同的数据时,通过数据库就可以知道是否重复发送数据,如果是重复数据,则抛掉该数据,并向上游节点发送ACK消息确认(否则上游节点会反复发送该消息)。如果阅读了后续章节Storm的“事务拓扑”机制可以看出,这和Storm的防止重复机制是非常类似的。为了增加查找效率,MillWheel在计算节点内存中使用了Bloom Filter在历史数据记录集合中进行快速查找。

此预览只包含定位所需的摘录和上下文。

原书定位详情

来源:a19c7933-4eda-4176-aebd-30fe7e1ad292

正文位置:extracted/大数据日知录_架构与算法/_epub-src/OEBPS/text00017.html

EPUB SHA-256:e45b74c4bdd8959aef24f2a5183280eb73ec5f173108f8679a4bbf44bbd5b34d