返回主题:框架与集成:Storm、Spark 与消息系统怎么接
知识卡片
普通读书笔记卡 · 3103
微批把连续流转成RDD序列
理解等级:中级
Spark Streaming 将连续到来的流按时间段切成小批,每批形成一个 RDD,再交给 Spark 引擎处理。DStream 表示这些 RDD 构成的连续序列。于是流式作业在实现上是反复执行的小批处理,批次边界同时影响数据缓存、输出节奏和结果时延;它与逐事件处理的执行模型不同。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
原书出处
参考来源
- 位置:《实时流计算系统设计与实现》第6章6.2.1–6.2.2《系统架构与流的描述》(源文件:_epub-src/OEBPS/Text/chapter99.xhtml、chapter100.xhtml;图6-2:_epub-src/OEBPS/Images/t6-2-i.jpg)
- 结论依据:原文与图6-2说明输入流被切成小块 RDD,DStream 由连续 RDD 构成,处理由 Spark 引擎完成。
- 原始内容:Spark Streaming将接收的实时数据流分成一个个的RDD,然后由Spark引擎对RDD做各种处理……DStream由一系列的RDD构成,每个RDD代表一段间隔内的数据。