知识卡片
流处理权衡
流处理在数据到达时就计算,先算后存,响应在毫秒到秒级。实现上有两条路:微批把流切成小批处理,吞吐高、便于与批处理共用平台,但时延只能到秒级;逐事件处理时延更低,并能把批处理当作有界流来统一。取舍在时延、吞吐、容错和平台复杂度之间,流批统一是趋势。
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《云计算架构技术与实践(第2版)》第10章《大数据平台核心技术与架构》(源文件:_epub-src/EPUB/text00018.html)
- 结论依据:原文说明流处理特征为事件驱动、实时处理(先计算后存储)、毫秒/秒级响应;Spark Streaming以微批模拟流处理,吞吐高且可融合批流但仅秒级时延,Storm、Flink基于真实事件处理降低时延,Flink把批任务视为流任务特例;流批统一是重要方向。
- 原始内容:其特征是:事件驱动、实时处理(数据先计算,不存储或后存储)、毫秒/秒级(分析响应速度要求)……然而,由于处理单元为微批,而非单条记录,Spark Streaming仅能达到秒级的时延……Flink将批次任务抽象为流任务的一个特例,因此也能完全支持批处理任务,使其成为一个流批混合型处理平台。