返回主题:Lambda架构与数据系统分层

知识卡片

普通读书笔记卡 · 2685.b

流处理权衡

理解等级:未标注

流处理在数据到达时就计算,先算后存,响应在毫秒到秒级。实现上有两条路:微批把流切成小批处理,吞吐高、便于与批处理共用平台,但时延只能到秒级;逐事件处理时延更低,并能把批处理当作有界流来统一。取舍在时延、吞吐、容错和平台复杂度之间,流批统一是趋势。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《云计算架构技术与实践(第2版)》第10章《大数据平台核心技术与架构》(源文件:_epub-src/EPUB/text00018.html) - 结论依据:原文说明流处理特征为事件驱动、实时处理(先计算后存储)、毫秒/秒级响应;Spark Streaming以微批模拟流处理,吞吐高且可融合批流但仅秒级时延,Storm、Flink基于真实事件处理降低时延,Flink把批任务视为流任务特例;流批统一是重要方向。 - 原始内容:其特征是:事件驱动、实时处理(数据先计算,不存储或后存储)、毫秒/秒级(分析响应速度要求)……然而,由于处理单元为微批,而非单条记录,Spark Streaming仅能达到秒级的时延……Flink将批次任务抽象为流任务的一个特例,因此也能完全支持批处理任务,使其成为一个流批混合型处理平台。