返回主题:框架与集成:Storm、Spark 与消息系统怎么接

此卡片不在当前主题的阅读序列中,可返回主题继续阅读。

知识卡片

结构图卡 · 1777.d

传统"消息队列+工作进程"方案的三缺陷与流式引擎的两种路线

理解等级:未标注

传统“消息队列+工作进程”需人工配置分区和进程,故障后人工恢复,还难保证每条消息完整处理。流式引擎把扩展、容错和处理语义交给运行时。书中按粒度区分两类:面向行的 Storm 逐条处理,侧重低延迟;Spark Streaming 把数据按时间切成微批,侧重吞吐量。具体延迟和吞吐取决于部署及负载,选型要实测。

结构图:

flowchart TB
  A["传统消息队列+工作进程方案"]
  A --> D1["扩展性差:分区/进程分布靠人工配置"]
  A --> D2["容错性差:故障需人工重启,队列崩溃可能丢数据"]
  A --> D3["无法保证数据处理完整性(at least once/exactly once)"]
  D1 --> E["专用流式引擎:把扩展/容错/语义保证下沉到运行时"]
  D2 --> E
  D3 --> E
  E --> R["面向行(如Storm)<br/>单条即处理,延迟毫秒级,吞吐率低"]
  E --> M["面向微批处理(如Spark Streaming)<br/>按时间切批,吞吐率高,延迟秒级"]
这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》之"13.1 概述"(源文件:_epub-src/OEBPS/text00103.html) - 结论依据:原文说明"这类系统能够解决流式处理问题,但存在以下几个缺点:扩展性差……容错性差……无法保证数据被处理完……为了克服传统消息队列系统的不足,新型流式计算引擎诞生了……基于行的流式实时处理系统以行为单位处理数据,其主要优点是单条数据的处理延迟低,但系统吞吐率一般也较低……基于微批处理的流式实时处理系统……优点是吞吐率高,而缺点也很明显:单条数据处理延迟较高", 直接支撑本卡关于三缺陷与两种路线的结构图。 - 原始内容:流式处理应用场景通常对数据处理完整性有一定要求,即每条数据应至少被处理一次(at least once)或仅且仅被处理一次(exactly once)。