知识卡片
Storm与Spark Streaming的一致性语义与吞吐延迟对比
Storm 用 acker 超时重发实现至少一次,故可能重复。书中说明 Spark Streaming 微批在不考虑重试时可按批处理一次;故障重试及外部写入使 Kafka+Spark Streaming 本身不能保证端到端恰好一次。若业务允许重放,结果写入应按唯一标识去重或具备幂等性。逐条与微批在延迟、吞吐上有取舍,书中的毫秒、秒级及倍数只描述当时方案,选型需实测。
结构图:
flowchart LR
A["一致性语义严格程度"]
A --> A1["at most once<br/>可能丢数据"]
A --> A2["at least once<br/>可能重复,最常用"]
A --> A3["exactly once<br/>理想,真实环境难以严格达成"]
A2 -.->|"Storm(acker,重发机制天然产生重复)"| A2
A3 -.->|"微批内部与外部写入须分开核对"| A3
B["吞吐率与延迟权衡"]
B --> B1["Storm:逐条处理,侧重低延迟"]
B --> B2["Spark Streaming:微批处理,侧重吞吐"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》之"13.4 流式计算引擎对比"(源文件:_epub-src/OEBPS/text00106.html)
- 结论依据:原文说明"Storm基于acker框架实现了'at least once'一致性语义;而Spark Streaming采用了批处理方式处理数据,在不考虑失败重试和推测执行情况下,能够实现'exactly once'一致性语义。但由于实际生产环境中,总存在故障重试问题,所以'Kafka+Spark Streaming'架构本身无法保证'exactly once',不过,用户可在实现逻辑中保证函数具有幂等性来达到这一目标……Storm选择了低延迟作为首要目标……但吞吐率很低,而Spark Streaming正好相反,它的吞吐率是Storm几倍甚至几十倍,但数据处理延迟最低只能做到秒级", 直接支撑本卡关于一致性语义与吞吐延迟对比的结构图。
- 原始内容:对于一个函数,针对相同输入,如果它被调用任意次产生的结果是一样的,则认为它具有幂等性。