知识卡片
传统"消息队列+工作进程"方案的三缺陷与流式引擎的两种路线
传统“消息队列+工作进程”需人工配置分区和进程,故障后人工恢复,还难保证每条消息完整处理。流式引擎把扩展、容错和处理语义交给运行时。书中按粒度区分两类:面向行的 Storm 逐条处理,侧重低延迟;Spark Streaming 把数据按时间切成微批,侧重吞吐量。具体延迟和吞吐取决于部署及负载,选型要实测。
结构图:
flowchart TB
A["传统消息队列+工作进程方案"]
A --> D1["扩展性差:分区/进程分布靠人工配置"]
A --> D2["容错性差:故障需人工重启,队列崩溃可能丢数据"]
A --> D3["无法保证数据处理完整性(at least once/exactly once)"]
D1 --> E["专用流式引擎:把扩展/容错/语义保证下沉到运行时"]
D2 --> E
D3 --> E
E --> R["面向行(如Storm)<br/>单条即处理,延迟毫秒级,吞吐率低"]
E --> M["面向微批处理(如Spark Streaming)<br/>按时间切批,吞吐率高,延迟秒级"]
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据技术体系详解:原理、架构与实践》第13章《流式实时计算引擎》之"13.1 概述"(源文件:_epub-src/OEBPS/text00103.html)
- 结论依据:原文说明"这类系统能够解决流式处理问题,但存在以下几个缺点:扩展性差……容错性差……无法保证数据被处理完……为了克服传统消息队列系统的不足,新型流式计算引擎诞生了……基于行的流式实时处理系统以行为单位处理数据,其主要优点是单条数据的处理延迟低,但系统吞吐率一般也较低……基于微批处理的流式实时处理系统……优点是吞吐率高,而缺点也很明显:单条数据处理延迟较高", 直接支撑本卡关于三缺陷与两种路线的结构图。
- 原始内容:流式处理应用场景通常对数据处理完整性有一定要求,即每条数据应至少被处理一次(at least once)或仅且仅被处理一次(exactly once)。