知识卡片
Storm至少一次处理语义
Storm的高可靠性有一条必须读懂的语义:处理出现异常时它会重新安排任务执行,所有消息保证至少被处理一次,消息可能被重复投递多次,但绝不会丢失。这是不丢与不重的取舍——为在节点可能故障的分布式环境里杜绝丢失,Storm选择允许重复。工程含义很重:下游逻辑必须能容忍重复,要么做成幂等,要么用外部状态去重,否则统计计数、金额累加会因重放而偏大。集群层面同样为可靠性设计:管理节点分发任务,工作节点启停进程,协调交给ZooKeeper,进程快速失败且无状态,状态存于ZooKeeper或本地磁盘,杀掉后可拉起而不丢状态。理解至少一次,才能正确设计确认逻辑。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第5章 数据分析 5.3 流式数据分析 · 查看原书依据
高容错性和高可靠性 ——如果在消息处理过程中出现了一些异常,Storm会重新安排任务执行,并且所有消息都将保证至少被处理过一次,如果发生异常,消息可能会被重复投递多次,但是不会出现消息丢失的情况。
参考来源
- 位置:《大型分布式网站架构设计与实践》第5章《5.3 流式数据分析》(源文件:`extracted/大型分布式网站架构设计与实践/_epub-src/text/part0010_split_003.html`,来源项目 `a19c7933-4eda-4176-aebd-30fe7e1ad292`,文件 SHA-256 `524d45f53e3708c2e9ae9081179ef43d2307d57e2db36e300581752c268fae8c`)
- 结论依据:原文『所有消息都将保证至少被处理过一次……但是不会出现消息丢失的情况』直接给出可靠性语义,同节对Nimbus/Supervisor无状态与ZooKeeper协调的描述支撑集群可靠性说明。
- 原始内容:高容错性和高可靠性 ——如果在消息处理过程中出现了一些异常,Storm会重新安排任务执行,并且所有消息都将保证至少被处理过一次,如果发生异常,消息可能会被重复投递多次,但是不会出现消息丢失的情况。