返回主题:框架与集成:Storm、Spark 与消息系统怎么接

知识卡片

结构图卡 · 1777.d.1

Storm与Spark Streaming的一致性语义与吞吐延迟对比

理解等级:未标注

Storm 用 acker 超时重发实现至少一次,故可能重复。书中说明 Spark Streaming 微批在不考虑重试时可按批处理一次;故障重试及外部写入使 Kafka+Spark Streaming 本身不能保证端到端恰好一次。若业务允许重放,结果写入应按唯一标识去重或具备幂等性。逐条与微批在延迟、吞吐上有取舍,书中的毫秒、秒级及倍数只描述当时方案,选型需实测。

结构图:

flowchart LR
  A["一致性语义严格程度"]
  A --> A1["at most once<br/>可能丢数据"]
  A --> A2["at least once<br/>可能重复,最常用"]
  A --> A3["exactly once<br/>理想,真实环境难以严格达成"]
  A2 -.->|"Storm(acker,重发机制天然产生重复)"| A2
  A3 -.->|"微批内部与外部写入须分开核对"| A3
  B["吞吐率与延迟权衡"]
  B --> B1["Storm:逐条处理,侧重低延迟"]
  B --> B2["Spark Streaming:微批处理,侧重吞吐"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》之"13.4 流式计算引擎对比"(源文件:_epub-src/OEBPS/text00106.html) - 结论依据:原文说明"Storm基于acker框架实现了'at least once'一致性语义;而Spark Streaming采用了批处理方式处理数据,在不考虑失败重试和推测执行情况下,能够实现'exactly once'一致性语义。但由于实际生产环境中,总存在故障重试问题,所以'Kafka+Spark Streaming'架构本身无法保证'exactly once',不过,用户可在实现逻辑中保证函数具有幂等性来达到这一目标……Storm选择了低延迟作为首要目标……但吞吐率很低,而Spark Streaming正好相反,它的吞吐率是Storm几倍甚至几十倍,但数据处理延迟最低只能做到秒级", 直接支撑本卡关于一致性语义与吞吐延迟对比的结构图。 - 原始内容:对于一个函数,针对相同输入,如果它被调用任意次产生的结果是一样的,则认为它具有幂等性。